【人工智能与深度学习】世界模型和生成对抗网络
自主控制世界模型
自监督学习的一个重要用处是用来学习世界模型。当人们做事情时,我们有着一个内在模型来模拟世界是怎么运作的,譬如当我们9个月大的时候,我们能够通过观察外界来培养物理概念的直觉思维,在某种意义上来说这和自监督学习非常相似。正如自监督模型学习隐变量的过程一样,我们通过学习如何预测将会发生的事情来学习抽象概念。进一步来说,我们的内在模型让我们能对外界有所反应。比如说,当我们学到了物理直觉和怎样控制手后,我们可以用这些学会的东西来预测和进行“抓住一支正在往下掉的笔”这一行为。
什么是“世界模型”?
自动化智能系统是由四个主要模组组成的(图1)。第一个模组是用来观察和计算世界表征的感知模组。这通过观察而计算出来的世界表征其实并不完整,这是因为
- 1)主体并不能观察到整个宇宙;
- 2)观察到的也并不一定准确。
有一点要注意的是,在前馈模型中感知模组只存在于第一个时间步中。第二个模组是基于观察到的表征来计算有可能的下一步的演员模组(也叫策略模组)。第三个模组是模型模组。当给定世界表征(有时候还有隐变量)后,这模组可以用来预测下一步行动后世界表征将会变成怎么样。这预测会被传到下一个时间步来当作下一个世界表征。正因如此,在最开始的时间步后,模型模组就代替了感知模组来计算世界表征。图2详细地描述了这前馈过程。第四个模组是计算行动所会带来的代价的评判家模组。譬如说,当给定了笔往下掉的速度后,如果一个人以某种方式来移动他的手,那他有多大可能性会抓不住这往下掉的笔。