RL论文阅读【七】Deterministic Policy Gradient Algorithms

1废话

终于看到 PG 了，后边还要看 DDPG，TRPO，PPO，SAC，NAF，TD3，A3C等等，任重而道远啊。看完 model free 还想着重看看 model based，好多啊，不知道什么时候能接近前沿，努力吧，为了爱而奋斗。另外，越写越懒了，只做自己复习用，很多都省了，新手还是别看了，看不懂的。

这篇论文可以算是现在很多 PG 的鼻祖了，证明了 Deterministic PG 的可行性，为后面很多 PG 算法奠定了基础。

2 Motivation

对于连续性动作，以往的 Stochastic PG 需要求在状态S 和动作 A 的关于 reward 的期望，也就是采样时同时采样状态 S 和状态 A，而 Deterministic PG 则不需要对动作 A 采样，只需要对状态进行采样，所以效率大大提高。那么关键就是 Stochastic 和 Deterministic PG 有什么区别，如何得到 Deterministic PG。

3 PG

先对基本的定义进行说明。对于整个问题，先建模为一个 MDP 模型。初始状态概率密度为 ,

首先回顾下 Stochastic PG 吧。

3.1 Sotchastic PG

输出带有一定的随机性，则策略函数为