图灵学习的思路
图灵学习(Turing Learning) 和GANs神经网络很相似,但是更泛化,加入了图灵测试的思想(模型和分类器共同存在且互相促进),它是GANs的generalization版本。
图灵学习不仅有模型(model),还有鉴别器(discriminator),类似于GANs。鉴别器将同时控制实际的机器人(在仿真中)以及它的候选模型(在仿真中)。模型将会生成鉴别起在控制时需要的数据。因此,鉴别器可以根据数据为模拟器选择不同的控制输入。鉴别器的目标是确定它获得的数据是来自实际的机器人还是来自模型候选者。
具体流程如下:
- 对实际的机器人进行实验,得出数据,例如机器人前进,通过传感器得出一组真实的数据,作为training data。
- 模型生成数据,有和真实数据类似的数据,代表好的模型(更接近真实物体的行为),有和真实数据差距较大的数据,代表差的模型。
- 鉴别器根据所有数据,判断该数据源是模型的还是真实物体的(training data)。
- 鉴别器判断错了,表示模型成功“欺骗”了鉴别器,model加1分。鉴别器判断对了,表示鉴别器判断成功,discriminator加1分。
model与discriminator两者为互相竞争(competing),共同进化(co-evolve) 的关系,例如狮子和斑马,狮子不断想办法猎杀斑马,斑马不断想办法逃离狮子的血盆大口,两者共同进化才不会导致斑马或狮子灭绝。
鉴别器的目