1. 策略梯度的优化:
,最后这个Vt,有的书写的是Gt,还有就是每一个trajectory,可以用几次进行训练。有的地方说是每一个si,ai,R(i+1),都可以进行一次参数的更新,有的则说是整个trajectory只能用一次,R就是整个的Gt
2. 策略梯度定理是怎么推导成这个参数增量更新的式子?
答:
1.1。1
在Sutton书里面R是即时奖励Reward,G是一次长期回报Gain/Return。
G和V的关系是前者是样本值,后者是期望值。
1.2
2
表现函数J在连续空间中的定义为,
(为何上式这样定义?因为实际上就是求基于该参数策略下回报的期望,即用回报期望来衡量策略的表现,,回报期望越高,则该参数下的策略越好)
其中某一段序列记为,该序列的时间步由
到
,完成某一序列后得到的总奖励记为
,出现该序列的概率记为
,则发生该序列的概率为
其中为状态转移概率(Transition Probability),
为在
参数策略下的动作选择概率
引用对数公式:
对上式开导,有:
左边
右边
其中
左右式约掉公因式,得
由对数性质可得
对表现函数开导并代入上式得