【李弘毅深度强化学习】8.Imitation Learning

本节课我们主要研究的是“Imitation Learning”（模仿学习）

Imitation Learning也被叫做“示范”或者“学徒学习”

使用这种方法的情况通常是这样的：1，agent可以和环境进行交互，但是通常是无法获得具体明确的reward。2，在一些实验中是无法明确定义reward的。3，有的时候我们定义的reward是不准确的，容易造成很大困扰的

虽然reward是很难定义的，但是我们通常都是具有一个专家export并且这个专家会解决我们所要解决的问题。

我们有两种解决这种问题的方法，一种是•Behavior Cloning（行为克隆），一种是•Inverse Reinforcement Learning (逆强化学习)下面我们逐一进行介绍

 

首先我们介绍一下行为克隆，这是一种类似于监督学习的方法，就是我们会把export（专家）的数据输入其中，之后agent遇到相似的情况就会效仿专家进行解决了。

我们把(s, a )对输入到神经网络中，之后训练actor，训练好的actor遇到相同的s，就会进行对应的a了

举个例子就是机器人实现自动驾驶，我们把export的（s，a）对输入其中，之后actor如果遇到相似的s，就会选择动作a了。

但是这种做法是有缺陷的，缺陷就是我们的export数据不全面，无法sample到比较特殊的情况，export数据是十分有限的，所以一旦agent遇到特殊的情况便不知道该何去何从了。

比如这个转弯的例子，export都是直接按照红色的曲线进行转弯，但是有的agent学习的不好，就撞到护栏了，但是训练集中并没有这种情况，所以就陷入死循环了。

所以为了解决数据不全面的问题，我们设计了一种方法叫Dataset Aggregation 来解决

这种方法就是让一个agent去和环境交互，但是在交互的过程中一直有一个export进行指导，从而让export可以取得极端环境下的数据。

举个例子：自动驾车，让一个agent进行驾车，之后安排一个export对agent进行指导，当agent进行机端环境的时候，export也会对其进行指导，从而收集到很多机端环境的数据，这样数据集就不再匮乏了。

行为克隆的另一个缺点就是：agent会死学export的全部特征，这其中有对行为有利的特征，当然也存在对行为没有任何价值的特征，如果agent将所有的特征（无论有用还是无用的）都进行学习的话还好，但是有时候agent学习的特征是有一定容量限制的，同时agent是无法区分有用特征和无用特征的区别的，他可能只学习了无用的特征而忽略了有用的特征，这九十分尴尬了。

第三个缺点：在监督学习中，我们的数据都是符合独立同分布的，因此数据是无序的，但是在强化学习中，我们的动作存在顺序的不同了，比如a出现在不同的时刻，导致最终的r都是不同的，如果export的a序列和agent的序列是相同的话还好，但是如果不同的话，就何难match住了，因此训练也就无效了。

 

接下来我们探究一下另一种方法，就是Inverse Reinforcement Learning （逆强化学习），在正常的强化学习中，我们是指导环境environment和reward function通过强化学习算法，我们得出一个训练有素的actor。

 

而逆强化学习也同样拥有一个环境作为输入，我们把expert在环境中的马尔可夫链作为输入，通过一个逆强化学习算法，求出这里的reward function。得到这个reward function以后，我们再用这些来作为强化学习训练的输入，之后再训练形成一个好的actor。

 

具体细节的过程如下，export把自己的马尔可夫链输入进去，之后actor再把自己的马尔可夫链输入进去，输入到obtain reward function函数中，得到一个reward function。这个函数的细节是，将export的分数打高，将actor的分数打低。

之后再用得到的reward function函数训练actor，之后训练好的actor再把自己的马尔可夫链输入，和export的马尔可夫链都输入到obtain reward function函数中，更新reward function，再进行强化学习训练。

知道actor和export之间的差距接近于零，才停止训练。

其实整个过程类似于一个GAN，actor相当于是generator，reward function相当于discriminator

GAN中是数据库提供真正的图片，之后generator提供自己生成的图片，放入D中进行评分，给数据库中的图片高分，给生成的图片低分。之后G和D互相对抗提高。

而逆强化学习是actor作为G，提供自己生成的动作，export相当于数据库，提供正确的答案，之后obtain reward function相当于D给打分，最后actor提高，变得和export相似