1 强化学习简介

1 概念介绍

以往Behavior Cloning的策略有可能让机器学到不重要的信息，解决这一问题的方法就是：1. Reinforcement Learning，2. Learning by demonstration。其中Invers Reinforcement Learning是Learning by demonstration的一种。
电子游戏中一场游戏叫做一个episode，围棋中一盘棋叫做一个episode
模型中三个对象：Actor、Environment、Reward：其中Actor就是一个神经网络
Environment、Reward是程序不可调节的。

2 如何训练

2.1 如何训练Actor

网络的输入：游戏的图像，所以我们网络的前几层需要使用CNN，网络的输出：下一步要进行的操作。

我们不妨先假设Actor、Environment、Reward都是NN，输出是总回报R(τ)，有了总回报的概念，我们可以把整个游戏当做一个巨型神经网络，我们希望通过调节蓝色框框里的参数令输出越大越好。

这里我们发现和GAN有一点点相似的感觉，(GAN中有G和D，G将自己输出的值给D，希望调节G的参数令D输出的的越大越好)。这里我们可以将Environment和Reward看做D，将Actor看做G。但是RL中不同的是Environment和Reward并不是NN，而是一个黑盒子，我们没法调。
如果train的内容不能微分，就用policy gradient强行train一发

2.2 如何训练Critic

Critic本身并不觉得采取哪个动作，而是反馈当前的Actor π有多好
状态价值函数 V^π(S)：假设给定一个actor π，并看到一个状态s，接下来一直到游戏结束所得到的reward的总和的期望值

2.2.1 蒙特卡洛法估计 V^π(S)

2.2.1 时间差分法估计 V^π(S)

2.2.3 Q-Learning

另一种Critic的表示方法：

Q的作用就是帮助学到好的Actor，如下图所示：

如何说π’比π好呢：

3 Inverse Reinforcement Learning

实际生活中我们有很多例子并不知道真正的reward function是什么样子的，我们可以让人来做这件事情，然后通过Inverse Reinforcement Learning学习其中的reward function然后再用Reinforcement Learning学习一个好的actor。


这其实和GAN的策略是完全一样的：