PolicyGradientMethods-强化学习

在值函数的方法中,我们迭代计算的是值函数,再根据值函数改善策略;而在策略搜索方法中,我们直接对策略进行迭代计算,也就是迭代更新策略的参数值,直到累积回报的期望最大,此时的参数所对应的策略为最优策略。

Neural network as Actor

用一个Actor(Policy)玩游戏，在一个episode中得到的Total reward:$R_{\theta }={\sum }_{t=1}^T{r}_t$

即使是用同一个actor，总奖励每一次都是不一样的，我们定义$\overline{R_{\theta }}$为$R_{\theta }$的期望值。该期望值衡量了一个Actor, ${\pi }_{\theta }(s)$, 的好坏。

• 令$\tau$为一个episode， τ = { s 1 , a 1 , r 1 , s 2 , a 2 , r 2 , … , s T , a T , r T } \tau=\{s_1,a_1,r_1,s_2,a_2,r_2,\dots,s_T,a_T,r_T\} τ={s1​,a1​,r1​,s2​,a2​,r2​,…,sT​,aT​,rT​}
• $R(\tau )={\sum }_{n=1}^N{r}_n$
• 用一个Actor玩游戏，每个$\tau$都有一定的可能出现，这个出现的概率由Actor的参数$\theta$决定：$P(\tau |\theta )$
• $\overline{R_{\theta }}={\sum }_{\tau }R(\tau )P(\tau |\theta )$
• 用${\pi }_{\theta }$玩N场游戏，获得 { τ 1 , τ 2 , … , τ N } \{ \tau^1,\tau^2,\dots,\tau^N\} {τ1,τ2,…,τN}

${\bar{R}}_{\theta }={\sum }_{r}R(\tau )P(\tau |\theta )\approx \frac{1}{N}{\sum }_{n=1}^{N}R({\tau }^n)$

Gradient Ascent

• 问题$${\theta }^{\star }=arg{\text{max}}_{\theta }{\bar{R}}_{\theta }$$ $${\bar{R}}_{\theta }=\sum _{r}R(\tau )P(\tau |\theta )$$
  方法Gradient Ascent
• 初始值${\theta }^0$
• ${\theta }^1\leftarrow {\theta }^0+\eta \nabla {\bar{R}}_{{\theta }_0}$
• ${\theta }^2\leftarrow {\theta }^1+\eta \nabla {\bar{R}}_{{\theta }_1}$
• $\dots$

那么$\nabla {\bar{R}}_{\theta }=?$
$$\begin{array}{rl}\nabla {\bar{R}}_{\theta }& =\sum _{\tau }R(\tau )\nabla P(\tau |\theta )\\ & =\sum _{\tau }R(\tau )P(\tau |\theta )\frac{\nabla P(\tau |\theta )}{P(\tau |\theta )}\\ & =\sum _{\tau }R(\tau )P(\tau |\theta )\nabla lnP(\tau |\theta )\\ & =E_{\tau \sim p_{\theta }(\tau )}[R(\tau )\nabla ln{p}_{\theta }(\tau )]\\ & \approx \frac{1}{N}\sum _{n=1}^{N}R({\tau }^n)\nabla lnP({\tau }^n|\theta )\end{array}$$

其中 τ = { s 1 , a 1 , r 1 , s 2 , a 2 , r 2 , … , s T , r T } \tau=\{s_1,a_1,r_1,s_2,a_2,r_2,\dots,s_T,r_T\} τ={s1​,a1​,r1​,s2​,a2​,r2​,…,sT​,rT​},

$\begin{array}{rl}P(\tau |\theta )& =p(s_1)p(a_1|s_1,\theta )p(r_1,s_2|s_1,a_1)p(a_2|s_2,\theta )p(r_2,s_3|s_2,a_2)\dots \\ & =p(s_1)\prod _{t=1}^{T}p(a_t|s_t,\theta )p(r_t,s_{t+1}|s_t,a_t)\end{array}$

下面分别阐述公式中的$\nabla lnP({\tau }^n|\theta ),R(\tau )$:
第一项$\nabla lnP({\tau }^n|\theta )$是轨迹$\tau$的概率随参数$\theta$变化最陡的方向。参数在该方向更新时,若沿着正方向,则该轨迹$\tau$的概率会变大, 若沿着负方向更新,则该轨迹的概率会变小。
第二项$R(\tau )$控制了参数更新的方向和步⻓。$R(\tau )$为正且越大则参数更新后该轨迹的概率越大; $R(\tau )$为负,则降低该轨迹的概率,抑制该轨迹的发生。
因此,从直观上理解策略梯度时,我们发现策略梯度会增加高回报路径的概率,减小低回报路径的概率。

$lnP(\tau |\theta )=lnp(s_1)+{\sum }_{t=1}^{T}lnp(a_t|s_t,\theta )+lnp(r_t,s_{t+1}|s_t,a_t)$

$\nabla lnP(\tau |\theta )={\sum }_{t=1}^T\nabla lnp(a_t|s_t,\theta )$

则
$\begin{array}{rl}\nabla {\bar{R}}_{\theta }& \approx \frac{1}{N}\sum _{n=1}^{N}R({\tau }^n)\nabla lnP({\tau }^n|\theta )\\ & =\frac{1}{N}\sum _{n=1}^{N}R({\tau }^n)\sum _{t=1}^{T_n}\nabla lnp(a_t^n|s_t^n,\theta )\\ & =\frac{1}{N}\sum _{n=1}^N\sum _{t=1}^{T_n}R({\tau }^n)\nabla lnp(a_t^n|s_t^n,\theta )\end{array}$
在《RL:An Introduction》中，$p(a_t^n|s_t^n,\theta )$ 写作 $\pi (A_t|S_t,\theta )$.

${\theta }^{new}\leftarrow {\theta }^{old}+\eta \nabla {\bar{R}}_{{\theta }^{old}}$

• 为什么除以几率$p(a_t^n|s_t^n,\theta )$?
  

Monte Carlo Policy Gradient

pseudocode

Add a Baseline

有时候总奖励可能总是正的，比如说一般小奖励有很多而大奖励很少，那么PG的时候小reward的可能更新很多次，但是这样就不能很好的提高大奖励action的几率，那么有什么方法？
可以将回报减去一个Baseline, 形式：
$\nabla {\bar{R}}_{\theta }\approx \frac{1}{N}{\sum }_{n=1}^N{\sum }_{t=1}^{T_n}(R({\tau }^n)-b)\nabla lnp(a_t^n|s_t^n,\theta )$
${\theta }_{t+1}\leftarrow {\theta }_t+\alpha (G_t-b(S_t))\frac{\nabla \pi (A_t|S_t,{\theta }_t)}{\pi (A_t|S_t,{\theta }_t)}$
当总奖励好过baseline才将其几率增加。这样引入一个量，其策略梯度是不变的，证明提示:$E_{\tau \sim p_{\theta }(\tau )}[\nabla ln{p}_{\theta }(\tau )\cdot b]=0$

理论上求使策略梯方差最小时的baseline：
令$X=\nabla lnp\cdot (R({\tau }^{(n)}-b),则有Var(X)=E{X}^2-E{\bar{X}}^2$，Var(X)对b求导：
$$\frac{\partial Var(X)}{\partial b}=E(X\frac{\partial X}{\partial b})=0$$
可推出:
$$b=\frac{{\sum }_{n=1}^N[({\sum }_{t=1}^{T_n}\nabla lnp(a_t^n|s_t^n,\theta ){)}^{2}R({\tau }^n)]}{{\sum }_{n=1}^N[{\sum }_{t=1}^{T_n}\nabla lnp(a_t^n|s_t^n,\theta ){)}^2]}$$

一般情况下baseline选择状态函数$\hat{v}(S_t,w)$,其中$w$是函数中的参数。

pseudocode

On-policy and Off-policy

importance Sampling

$E_{x\sim p}[f(x)]\approx \frac{1}{N}{\sum }_{i=1}^{N}f(x^i)$
其中$x^i$是从 $p(x)$这个分布中采样的。
现在问题是不能从$p(x)$里面采样，那么怎么办呢？
$\begin{array}{rl}{E}_{x\sim p}[f(x)]& =\int f(x)p(x)dx\\ & =\int f(x)\frac{p(x)}{q(x)}q(x)dx\\ & =E_{x\sim q}[f(x)\frac{p(x)}{q(x)}]\end{array}$
可以从与p(x)相似的分布q(x)中采样。p(x)与q(x)不能相差太多，
因为虽然$E_{x\sim p}[f(x)]=E_{x\sim q}[f(x)\frac{p(x)}{q(x)}]$,但是$Va{r}_{x\sim p}[f(x)]\ne Va{r}_{x\sim q}[f(x)\frac{p(x)}{q(x)}]$

off-policy

$\nabla {\bar{R}}_{\theta }=E_{\tau \sim p_{\theta }(\tau )}[R(\tau )\nabla ln{p}_{\theta }(\tau )]$可换成：
$\nabla {\bar{R}}_{\theta }=E_{\tau \sim p_{{\theta }^{\prime }}(\tau )}[\frac{p_{\theta }(\tau )}{p_{{\theta }^{\prime }}(\tau )}R(\tau )\nabla ln{p}_{\theta }(\tau )]$
即由$E_{(s_t,a_t)\sim {\pi }_{\theta }}[A^{\theta }(s_t,a_t)\nabla ln{p}_{\theta }(a_t^n|s_t^n)]$换成
$E_{(s_t,a_t)\sim {\pi }_{{\theta }^{\prime }}}[\frac{p_{\theta }(s_t,a_t)}{p_{{\theta }^{\prime }}(s_t,a_t)}{A}^{\theta }(s_t,a_t)\nabla ln{p}_{\theta }(a_t^n|s_t^n)]$而实际上Advantage函数$A(s_t,a_t)$是由${\theta }^{\prime }$来的，则准确的式子应为：
$E_{(s_t,a_t)\sim {\pi }_{{\theta }^{\prime }}}[\frac{p_{\theta }(s_t,a_t)}{p_{{\theta }^{\prime }}(s_t,a_t)}\frac{p_{\theta }(s_t)}{p_{{\theta }^{\prime }}(s_t)}{A}^{{\theta }^{\prime }}(s_t,a_t)\nabla ln{p}_{\theta }(a_t^n|s_t^n)]$.
一般为计算方便，取$E_{(s_t,a_t)\sim {\pi }_{{\theta }^{\prime }}}[\frac{p_{\theta }(s_t,a_t)}{p_{{\theta }^{\prime }}(s_t,a_t)}{A}^{{\theta }^{\prime }}(s_t,a_t)\nabla ln{p}_{\theta }(a_t^n|s_t^n)]$.
$J^{{\theta }^{\prime }}(\theta )=E_{(s_t,a_t)\sim {\pi }_{{\theta }^{\prime }}}[\frac{p_{\theta }(s_t,a_t)}{p_{{\theta }^{\prime }}(s_t,a_t)}{A}^{{\theta }^{\prime }}(s_t,a_t)]$

TRPO

#TODO
根据策略梯度的方法，参数更新方程式为：
$${\theta }_{new}\dot{=}{\theta }_{old}+\alpha {\nabla }_{\theta }J(\theta )$$

策略梯度算法的硬伤就在更新步⻓,当步⻓不合适时,更新的参数所对应的策略是一个更不好的策略,当利用这个更不好的策略采样学习时,再次更新的参数会更差,因此很容易导致越学越差,最后崩溃。所以,合适的步⻓对于强化学习非常关键。
什么才是合适的步⻓?
合适的步⻓是指当策略更新后,回报函数的值不能更差。那么如何选择步⻓?或者说,如何找到新的策略使新的回报函数的值单调增⻓,或单调不减?这就是TRPO要解决的问题。
考虑一个有限ＭＤＰ，由元组 $(\mathcal{S},\mathcal{A},\mathcal{P},r,{\rho }_0,\gamma )$,其中S是状态有限集，A是动作的有限集，$\mathcal{P}:\mathcal{S}\times \mathcal{A}\times \mathcal{S}\to \mathbb{R}$ 是转移概率分布，$r:\mathcal{S}\to \mathbb{R}$是 奖励函数，${\rho }_0:\mathcal{S}\to \mathbb{R}$ 是初始状态$s_0$的分布，$\gamma \in (0,1)$是折扣因子。
$\pi$表示随机策略$\pi :\mathcal{S}\times \mathcal{A}\to [0,1],令\eta (\pi )$表示其期望折扣奖励：
$$\eta (\pi )=E_{s_0,a_0,s_1,\dots }[\sum _{t=0}^{\infty }{\gamma }^{t}r(s_t)]$$

其中$s_0\sim {\rho }_0(s_o),a_t\sim \pi (a_t|s_t),s_{t+1}\sim P(s_{t+1},a_t)$，同时有以下状态动作函数$Q_{\pi }$,值函数$V_{\pi }$和优势函数$A_{\pi }$:
$$Q_{\pi }(s_t,a_t)=E_{s_{t+1},a_{t+1},\dots }[\sum _{l=0}^{\infty }{\gamma }^{l}r(s_{t+k})],$$

$$V_{\pi }(s_t)=E_{a_t,s_{t+1},\dots }[\sum _{l=0}^{\infty }{\gamma }^{l}r(s_{t+l}],$$

下面是新的优势策略$\tilde{\pi }$的期望回报表示：
$$\eta (\tilde{\pi })=\eta (\pi )+E_{s_0,a_0,s_1,\cdots \sim \tilde{\pi }}[\sum _{t=0}^{\infty }{\gamma }^t{A}_{\pi }(s_t,a_t)]\text{\hspace{1em}(trpo-1)}$$

其中$E_{s_0,a_0,s_1,\cdots \sim \tilde{\pi }}$表示动作都是从$a_t\sim \tilde{\pi }(\cdot |s_t)$采样的。

$$A_{\pi }(s,a)=Q_{\pi }(s,a)-V_{\pi }(s),$$

其中$a_t\sim \pi (a_t|s_t),s_{t+1}\sim P(s_{t+1}|s_t,a_t),fort\ge 0.$
又是函数$A_{\pi }(s,a)=Q_{\pi }(s,a)-V_{\pi }(s)$能评价当前动作值函数相对于平均值的大小。所以,这里的优势指的是动作值函数相比于当前状态的值函数的优势。如果优势函数大于零,则说明该动作比平均动作好,如果优势函数小于零,则说明当前动作不如平均动作好。
令 ${\rho }_{\pi }$ 为折扣访问频率：
$${\rho }_{\pi }(s)=P(s_0=s)+\gamma P(s_1=s)+{\gamma }^{2}P(s_2=s)+\dots ,$$

其中$s_0\sim {\rho }_0$，动作都是根据$\pi$来选择的。现在用加权状态代替时间步长t重写更新等式(trpo-1)：
$$\begin{array}{rl}\eta (\tilde{\pi })& =\eta (\pi )+\sum _{s\in \mathcal{S}}P(s_t=s|\tilde{\pi })\sum _{a\in \mathcal{A}}\sum _{t=0}^{\infty }{\gamma }^t{A}_{\pi }(s,a)\tilde{\pi }(a|s)\\ & =\eta (\pi )+\sum _{t=0}^{\infty }\sum _{s}P(s_t=s|\tilde{\pi })\sum _a\tilde{\pi }(a|s){\gamma }^t{A}_{\pi }(s,a)\\ & =\eta (\pi )+\sum _s\sum _{t=0}^{\infty }{\gamma }^{t}P(s_t=s|\tilde{\pi })\sum _a\tilde{\pi }(a|s)A_{\pi }(s,a)\\ & =\eta (\pi )+\sum _s{\rho }_{\tilde{\pi }}(s)\sum _a\tilde{\pi }(a|s)A_{\pi }(s,a)\end{array}\text{\hspace{1em}(trpo-2)}$$
这一等式说明了任何 $\pi \to \tilde{\pi }$ 每个状态s的非负期望优势的策略更新（即${\sum }_a\tilde{\pi }(a|s)A_{\pi }(s,a)\ge 0$），能保证策略表现是递增的，或至少保持期望不变的其他位置.

在(trpo-2)中，第二项动作a是由新的策略$\tilde{\pi }$产生的，加入重要性采样，即:
$$\sum _a\tilde{\pi }(a|s)A_{\tilde{\pi }}(s,a)=\sum _a\pi (a,s)\frac{\tilde{\pi }(a|s)}{\pi (a,s)}{A}_{\pi }(a,s)$$

$$L_{\pi }(\tilde{\pi })=\eta (\pi )+\sum _s{\rho }_{\pi }(s)\sum _a\tilde{\pi }(a|s)A_{\pi }(s,a)\text{\hspace{1em}(trpo-3)}$$

注意到$L_{\pi }$用的访问频率是${\rho }_{\pi }$而不是${\rho }_{\tilde{\pi }}$, 如果策略函数可微，那么$L_{\pi },\eta$是一阶匹配的，即
$$L_{{\pi }_{{\theta }_0}}({\pi }_{\theta 0})=\eta ({\pi }_{{\theta }_0}),$$

$${\nabla }_{\theta }{L}_{{\pi }_{{\theta }_0}({\pi }_{\theta }){|}_{\theta ={\theta }_0}}={\nabla }_{\theta }\eta ({\pi }_{\theta }){|}_{\theta ={\theta }_0}.\text{\hspace{1em}(trpo-4)}$$
式子(trpo-4)表明能够使$L_{{\pi }_{{\theta }_{old}}}$改进的从${\pi }_{{\theta }_0}\to \tilde{\pi }$足够小的步长也会改进$\eta$,但是没有确定这个范围是多少。
。。。(to be continued)

$J_{TRPO}^{{\theta }^{\prime }}(\theta )=E_{(s_t,a_t)\sim {\pi }_{{\theta }^{\prime }}}[\frac{p_{\theta }(s_t,a_t)}{p_{{\theta }^{\prime }}(s_t,a_t)}{A}^{{\theta }^{\prime }}(s_t,a_t)]$ ,$KL(\theta ,{\theta }^{\prime })<\delta$

PPO(Proximal Policy Optimization)

Critic

Q-function
Value function
Action-Value function

Actor-Critic

Actor-Critic算法是一种无模型的，off-policy的方法，其中critic充当价值函数近似器，而actor充当政策函数近似器。在训练时，critic会预测TD误差并指导自身和actor的学习。在实践中，我们使用Advantage函数估算TD误差。为了获得更高的稳定性，我们在两个网络之间使用了共享的计算主干，并采用了折价奖励的N步公式。我们还引入了熵正则化术语（“软”学习）以鼓励探索。尽管A2C简单高效，但由于计算时间长，因此在Atari Games上运行它很快变得棘手

RL书中的内容

尽管REINCORCE-with_baseline方法同时学习了一个policy和一个state-value函数，但是我们不认为它是一个actor-critic方法，因为其状态值函数只作为baseline而不作为critic，不是用作bootsrapping(从后续状态估计值来更新状态值函数)。
首先考虑一步的Actor-Critic情况，类似的TD方法有TD(0),Sarsa(0)和Q-learning. 一步的Actor-Critic方法（用已学习的状态值函数作为baseline）如下:
$$\begin{array}{rl}{\theta }_{t+1}& \leftarrow {\theta }_t+\alpha (G_{t:t+1}-\hat{v}(S_t,w))\frac{\nabla \pi (A_t|S_t,{\theta }_t)}{\pi (A_t|S_t,{\theta }_t)}\\ & ={\theta }_t+\alpha (R_{t+1}+\gamma \hat{v}(S_{t+1},w)-\hat{v}(S_t,w))\frac{\nabla \pi (A_t|S_t,{\theta }_t)}{\pi (A_t|S_t,{\theta }_t)}\\ & ={\theta }_t+\alpha {\delta }_t\frac{\nabla \pi (A_t|S_t,{\theta }_t)}{\pi (A_t|S_t,{\theta }_t)}\end{array}$$

pseudocode

Hung Yi Li的讲义

在PG算法中，如果我们用Q函数来代替R，同时我们创建一个Critic网络来计算Q函数值，那么我们就得到了Actor-Critic方法。Actor参数的梯度变为

由于$G_t^n$的期望就是$Q^{{\pi }_{\theta }}(s_t^n,a_t^n)$, baseline可用$V^{{\pi }_{\theta }}(s_t^n)$代替，那么括号内可写成$Q^{\pi }(s_t^n,a_t^n)-V^{\pi }(s_t^n)$, 又有
$Q^{\pi }(s_t^n,a_t^n)=E[r_t^n+V^{\pi }(s_{t+1}^n)]$，
在计算的时候每一次获取的$Q$值为 $Q^{\pi }(s_t^n,a_t^n)=r_t^n+V^{\pi }(s_{t+1}^n)$，则$Q^{\pi }(s_t^n,a_t^n)-V^{\pi }(s_t^n)$可用$r_t^n+V^{\pi }(s_{t+1}^n)-V^{\pi }(s_t^n)$代替.

A2C(Advantage Actor-Critic)

那么Advantage Actor-Critic的$\nabla {\bar{R}}_{\theta }\approx \frac{1}{N}{\sum }_{n=1}^N{\sum }_{t=1}^{T_n}(r_t^n+V^{\pi }(s_{t+1}^n)-V^{\pi }(s_t^n))\nabla ln{p}_{\theta }(a_t^n|s_t^n)$

Tips

• Actor $\pi (s)$和critic $V^{\pi }(s)$的参数能被共享

• Assign Suitable Credit. 有时候整场游戏都是正奖励，但是某些action是不好的，怎么解决这样问题？

DPG

Silver, David, Lever, Guy, Heess, Nicolas, Degris, Thomas, Wierstra,Daan, and Riedmiller, Martin. Deterministic policy gradient algorithms. In ICML, 2014

DDPG(DeepDPG)

符号定义：
一个离散时步(discrete timesteps)的环境 $E$,
$s_t=(x_1,a_1,\dots ,a_{t-1},x_t)$,
一个Agent的动作被定义成一个策略$\pi$,
一个初始状态分布$p(s_1)$,
状态转移概率$p(s_{t+1}|s_t,a_t)$,
reward function $r(s_t,a_t)$
在一个状态的回报return定义为折扣未来奖励之和$R_t={\sum }_{i=t}^T{\gamma }^{i-t}r(s_i,a_i),\gamma \in [0,1]$.
注意到回报取决于策略所选择的动作，是随机的。强化学习的目标是学一个策略使一下初始分布的期望回报最大：
$$J={\mathbb{E}}_{r_i,s_i\sim E,a_i\sim \pi }[R_1]$$

再令${\rho }^{\pi }$表示一个策略$\pi$的折扣状态访问分布.
动作值函数在状态$s_t$遵从策略$\pi$采取动作$a_t$的期望回报:
$$Q^{\pi }(s_t,a_t)={\mathbb{E}}_{r_{i\ge t},s_{i>t}\sim E,a_{i>t}\sim \pi }[R_t|s_t,a_t]\text{\hspace{1em}(DDPG-1)}$$

强化学习中的许多方法都使用称为Bellman方程的递归关系:
Q π ( s t , a t ) = E r t , s t + 1 ∼ E { r ( s t , a t ) + γ E a t + 1 ∼ π [ Q π ( s t + 1 , a t + 1 ) ] } (DDPG-2) Q^\pi(s_t,a_t)=\mathbb E_{r_t,s_{t+1}\sim E}\{r(s_t,a_t)+\gamma\mathbb E_{a_{t+1}\sim\pi}[Q^\pi(s_{t+1},a_{t+1})]\}\tag{DDPG-2} Qπ(st​,at​)=Ert​,st+1​∼E​{r(st​,at​)+γEat+1​∼π​[Qπ(st+1​,at+1​)]}(DDPG-2)

如果目标策略是确定性的(发生的概率为1)，我们可以将其描述为一个函数$\mu :\mathcal{S}\leftarrow \mathcal{A}$以及避免内在期望：
Q μ ( s t , a t ) = E r t , s t + 1 ∼ E { r ( s t , a t ) + γ Q μ ( s t + 1 , μ ( s t + 1 ) ] } (DDPG-3) Q^\mu(s_t,a_t)=\mathbb E_{r_t,s_{t+1}\sim E}\{r(s_t,a_t)+\gamma Q^\mu(s_{t+1},\mu(s_{t+1})]\}\tag{DDPG-3} Qμ(st​,at​)=Ert​,st+1​∼E​{r(st​,at​)+γQμ(st+1​,μ(st+1​)]}(DDPG-3)

这意味着可以去学习$Q^{\mu }$ off-policy，运用一个不同的随机behavior策略$\beta$产生转移对(s_t,a_t,s_{t+1}).
受到Q-learning的启发(使用一个off-policy算法，用贪婪策略$\mu (s)=argma{x}_{a}Q(s,a)$),我们考虑一个近似函数，七参数为${\theta }^Q,$我们去优化减小下面的loss函数：
$$L({\theta }^Q)={\mathbb{E}}_{s_t\sim {\rho }^{\beta },a_t\sim \beta ,r_t\sim E}[(Q(s_t,a_t|{\theta }^Q)-y_t{)}^2]\text{\hspace{1em}(DDPG-4)}$$

其中
$$y_t=r(s_t,a_t)+\gamma Q(s_{t+1},\mu (s_{t+1})|{\theta }^Q)\text{\hspace{1em}(DDPG-5)}$$

用基于DPG算法的actor-critic方法。DPG算法包括一个actor函数$\mu (s|{\theta }^{\mu })$，其critic函数$Q(s,a)$用Q-learning中的bellman等式去学习。actor更新，基于以下：
$$\begin{array}{rl}{\nabla }_{{\theta }^{\mu }}J& \approx {\mathbb{E}}_{s_t\sim {\rho }^{\beta }}[{\nabla }_{{\theta }^{\mu }}Q(s,a|{\theta }^Q){|}_{s=s_t,a=\mu (s_t|{\theta }^{\mu })}]\\ & ={\mathbb{E}}_{s_t\sim {\rho }^{\beta }}[{\nabla }_{a}Q(s,a|{\theta }^Q){|}_{s=s_t,a=\mu (s_t)}{\nabla }_{{\theta }_{\mu }}\mu (s|{\theta }^{\mu }){|}_{s=s_t}]\end{array}$$

正如DQN中，用回放缓存$\mathcal{R}$，状态转移对从环境中根据探索策略来采集，$(s_t,a_t,r_t,s_{t+1})$被存到回放缓存中。当回放缓存满了最老的样本会被扔掉。在每个时间步长，actor和critic都会用缓存中采集的minibatch更新。因为DDPG是off-policy的，缓存可以较大，以允许算法从非相关 状态转移对 中学到东西。

直接将神经网络的Q-learning应用式子DDPG-4在多数环境下被证明是不稳定的，因为用于更新的网络$Q(s,a|{\theta }^Q)$也被用于计算目标值(DDPG-5), 其Q的更新容易产生分歧。我们的目标网络与DQN类似，但修改了actor-critic并且用了“soft“目标更新，而不是直接复制参数权值。分别复制actor和critic的网络$Q^{\prime }(s,a|{\theta }^{Q^{\prime }}),{\mu }^{\prime }(s|{\theta }^{{\mu }^{\prime }})$, 用于计算目标值。
然后让网络缓慢跟踪学习的网络来更新这些目标网络的权值:${\theta }^{\prime }\leftarrow \tau \theta +(1-\tau ){\theta }^{\prime },with\tau \ll 1$.这使得目标值能被限制缓慢更新，极大改善学习的稳定性。这种简单的变化使学习动作值函数的相对不稳定的问题更接近于监督学习的情况。同时具有目标µ’和Q’必须具有稳定的目标y，以便一致地训练critic而不会产生分歧。这可能会减慢学习速度，因为目标网络会延迟值估计的传播。但是，在实践中，我们发现学习的稳定性远远超过了这一点。

在连续动作空间中学习的主要挑战是探索。诸如DDPG之类的off-policy算法的优势在于，我们可以独立于学习算法来处理探索问题。我们通过将噪声过程$\mathcal{N}$中采样的噪声添加到我们的actor策略中，构造了探索策略µ’:
$${\mu }^{\prime }(s_t)=\mu (s_t|{\theta }_t^{\mu })+\mathcal{N}\text{\hspace{1em}(DDPG-7)}$$

可以$\mathcal{N}$选择以适应环境
pseudocode:

A3C

异步地执行多个 agent， 通过并行的 agent 经历的不同状态，去除训练过程中产生的状态转移样本之间的关联性；
只需一个标准的多核CPU即可实现算法，在效果、时间和资源消耗上都优于传统方法

GA3C

使用gpu的a3c
https://openreview.net/forum?id=r1VGvBcxl&noteId=r1VGvBcxl
https://github.com/NVlabs/GA3C/tree/master/ga3c

Pathwise Derivative Policy Gradient