策略梯度算法原理

Policy Gradient策略

根据在某个状态采取某种行为来决定能得到多少的奖励值。

调整内部Actor的参数使得总奖励值R越大越好。但R是一个随机变量，转换为最大化期望值。

策略梯度算法推导

需要让Agent不断跟环境互动，搜集多条轨迹数据 

采样到的数据只有一次， 具体的实现过程

需要在后面乘以整场游戏的Reward。

实际操作技巧之添加Baseline

 因为奖励可能总是正的。对于动作a, b,c而言，权重大的动作表明被其被采取的概率提升越大，在都提升的体情况下，提升小的与几率下降。同样的，如果，某个动作没有被采样到，就不会被提升，但并不意味着这是一个不好的action，可通过调整奖励值的正负性规避此类问题。

 实际操作技巧之分配合适的权重（优势函数）

给每个action合适的credit, 之前的算法中，只要是在同一个episode中，所有的状态动作对都会乘以相同的权重，显然是不公平的，因为在同一个episide之中，有的action会更具优势，一个episode的整体奖励值为正数，不代表其中所有的状态动作都能带来正奖励。类似地，整场回合效果比较差，不代表回合中的每个行为都是错的。因此，该给每个行为各自赋予合理的weight以真正反映其对应的好坏程度。如何给出合理的weight呢？

一种方法是: 不把整个回合得到的reward加起来。只计算从某个action执行以后所得到的reward， 因为已经发生过的事情和它没有关系了， 不管之前得到了多少的reward, 都不能算当前action的功劳， 当前action对后续动作的影响与时间存在一定的关系，时间越久，影响力越小， 将credit设置为从当前时间步到回合结束时的折扣累加和， 折扣因子设置为??

方法二，额外利用一个网络去估算，

 中的表示和环境去做主动的Agent, 也称优势函数，可以通过一个网络来估值。意义为相对的好，也即在当前的state下采取动作a，相对于其他可能的action的优势，但不是绝对的好。