Policy Gradient with Baseline

策略梯度的推导：

策略梯度中的Baseline：

策略梯度中常用Baseline方法来降低方差，可以使得收敛更快。Baseline可以是一个函数b，该函数是什么都可以，但就是不能依赖于动作A。

下面是Baseline的一个重要等式推导，灰色部分是用链式法则展开，

添加Baseline后的策略梯度：

引入b既然等于0为什么要引入呢？原因是神经网络中的策略梯度并不是按照这个公式计算，而是这个公式的蒙特卡洛近似，如果选取的b合适，那么就会使得蒙特卡洛的方差变小，使得收敛的更快。

添加Baseline后的蒙特卡洛近似：

直接计算这个期望比较困难，我们用蒙特卡洛近似来算这个期望，期望里面的记作，它依赖于随机变量，期望是关于随机变量求的，的概率密度函数是策略网络π，我们可以对策略函数做随机抽样，得到一个。得到的即为蒙特卡洛近似，是策略梯度的一个无偏估计，其实是一个随机梯度，它是对策略梯度的蒙特卡洛近似。真正训练网络的时候，都是用的，而不是真正的策略梯度。

 实际训练策略网络的时候，我们用随机梯度上升来更新参数θ，β是学习率，用随机梯度上升就意味着能让策略更好。

b只要与无关，那么策略梯度的期望就会保持不变，但是b却影响，一个好的b，即非常接近，那么就会使得方差很小，收敛更快。

 常见的Baseline:

（1）b=0时，就得到了标准的策略梯度函数。

（2）b=,因为是先于被观测到的，所以与无关。