9.2【人工智能与深度学习】世界模型和生成对抗网络

自主控制世界模型

自监督学习的一个重要用处是用来学习世界模型。当人们做事情时，我们有着一个内在模型来模拟世界是怎么运作的，譬如当我们9个月大的时候，我们能够通过观察外界来培养物理概念的直觉思维，在某种意义上来说这和自监督学习非常相似。正如自监督模型学习隐变量的过程一样，我们通过学习如何预测将会发生的事情来学习抽象概念。进一步来说，我们的内在模型让我们能对外界有所反应。比如说，当我们学到了物理直觉和怎样控制手后，我们可以用这些学会的东西来预测和进行“抓住一支正在往下掉的笔”这一行为。

什么是“世界模型”？

自动化智能系统是由四个主要模组组成的（图1）。第一个模组是用来观察和计算世界表征的感知模组。这通过观察而计算出来的世界表征其实并不完整，这是因为

• 1）主体并不能观察到整个宇宙；
• 2）观察到的也并不一定准确。

有一点要注意的是，在前馈模型中感知模组只存在于第一个时间步中。第二个模组是基于观察到的表征来计算有可能的下一步的演员模组（也叫策略模组）。第三个模组是模型模组。当给定世界表征（有时候还有隐变量）后，这模组可以用来预测下一步行动后世界表征将会变成怎么样。这预测会被传到下一个时间步来当作下一个世界表征。正因如此，在最开始的时间步后，模型模组就代替了感知模组来计算世界表征。图2详细地描述了这前馈过程。第四个模组是计算行动所会带来的代价的评判家模组。譬如说，当给定了笔往下掉的速度后，如果一个人以某种方式来移动他的手，那他有多大可能性会抓不住这往下掉的笔。