Reinforce with Baseline

概念回顾：

公式推导：

之前介绍Baseline的博客得出随机策略梯度，想要用其来更新策略网络，但是里面还有未知项，还得做近似。我们不知道和，所以需要去近似。而是回报的期望，在这里再做一次近似，那观测到的来近似，这也是一种蒙特卡洛近似，称为Reinforce。具体做法：例如玩一整局游戏，观测到一条轨迹，我们把从t时刻开始的所有奖励做加权求和，得到回报。就是的无偏估计。

对于，我们用神经网络来近似，叫做价值神经网络，即。

最终得到的近似结果为：

我们总共做了三次近似（两次蒙特卡洛近似，一次神经网络近似），第一次是用蒙特卡洛来近似期望，第二次是用蒙特卡洛来近似，第三次是用神经网络来近似。

Policy and Value Networks:

目标就是用reinforce算法训练策略网络。

两者输入函数都是状态s，所以可以共享输入和卷积层：

接下来要训练两个神经网络，用reinforce算法训练策略网络，用回归方法训练价值网络。