David Silver UCL强化学习课程学习笔记七之Policy Gradient Methods 策略梯度

Lecture 7: Policy Gradient Methods
https://www.davidsilver.uk/wp-content/uploads/2020/03/pg.pdf

Introduction

Policy-Based RL的优点：更好的收敛性；在高维或连续动作空间中有效；可以学习随机策略
缺点：通常会收敛到局部最优，而不是全局最优；评估一项政策通常效率低下且差异很大

目标函数

一般而言，只要出现随机的策略的时候，一般都会比确定性策略效果要好。针对我们的目标函数，我们有如下几种优化方法，基于梯度的和不基于梯度的。

Finite Difference Policy Gradient

下面是对softmax policy和gaussian policy的推导
对于score function的推导如下



一步MDPS 推奖励函数的梯度，奖励函数的大导数等于score function × R在侧料π下的期望。

策略梯度定理，将onestep MDP的奖励R 换成了基于策略π在s，a状态下的q函数。

MC Policy Gradient

在无模型的情形下，需要将奖励函数的梯度期望换位采样的估计值。MC需要在每一个episode接受之后，对之一步中所有的函数进行更新，并将回报替换。

Actor-Critic Policy Gradient

critic用于估计action-value 函数，actor用于更新策略函数，上述是actor-critic算法的公式。这里AC算法可以降低方差但是是有偏的。

为了消除bias，我们提出了相容函数逼近。

advantage AC

TD AC

Natural AC

到此UCL RL公开课学习就告一段落了。有时间的话还是建议去听一听david silver老师的录课视频，每个知识点讲的很细致，学完一遍后对强化学习会有新的认识。 如果你想对深度学习打下一个好的基础，对深度学习想要做研究性工作，坚持看完david silver的视频真的很有帮助。笔者写完这些时对许多问题仍存在疑虑，有精力的话会去再学第二遍。值得一提的是david silver老师课堂节奏把控的很好，听着很舒服。