【文献学习】强化学习2：基于策略函数的方法

参考文献：[1]《强化学习》,邹伟,等.（鳄鱼书）

随机策略梯度

策略梯度的优点：1.适用于连续动作空间场景；2.策略搜索方法具有更好的收敛性；2.策略搜索方法更简单；3.策略搜索方法可以学到随机策略。
只有针对状态可完美观测或使用的特征可以完美描述状态的情况，才有对于任何MDP总有一个确定性策略当发生状态崇明无法区分或使用的近似函数里描述状态的特征值限制了对状态的完美描述时，智能体得到的状态信息等效于部分观测的环境信息，问题不具备马尔科夫性。此时最优策略不再是确定性的，直接基于策略的学习能学习到最优策略。

1.定理及证明

策略随机时，有${\pi }_{\theta }(a|s)=P(a|s;\mathbf{\theta })$，确定了在给定的状态s和一定的参数设置$\mathbf{\theta }$下，采取任何可能行为的概率。
将策略参数向量$\mathbf{\theta }$分为两部分：$\mathbf{\theta }=[{\mathbf{\theta }}_{\mu },{\mathbf{\theta }}_{\sigma }{]}^T$。${\mathbf{\theta }}_{\mu }$用来近似均值，${\mathbf{\theta }}_{\sigma }$用来近似方差。a服从均值为$\mu (s,\mathbf{\theta })$、方差为$\delta (s,\mathbf{\theta }{)}^2$的正态分布。
我们要做的是利用参数化策略${\pi }_{\theta }(a|s,\mathbf{\theta })$，通过调整$\theta$来得到一个较优策略，使得遵循这个策略产生的行为能够得到较多回报。具体而言是设计一个与策略参数$\theta$相关的目标函数$J(\mathbf{\theta })$，对其使用梯度上升算法优化参数$\theta$，使J最大。
${\mathbf{\theta }}_{t+1}={\mathbf{\theta }}_t+\alpha \nabla J({\mathbf{\theta }}_t)$
此方法是基于目标函数J的梯度进行策略参数更新，任何遵循这种更新机制的方法都叫策略梯度法。
目标函数选择问题：
a. 能够产生完整轨迹的环境下(Episodic Case)，可用从起始状态$s_0$到终止状态的累计回报来衡量整个策略的优劣。即
$J(\mathbf{\theta })=V_{{\pi }_{\theta }}(s_0)$
b. 对于没有终止状态的情况(Continuing Case)，使用每一个时间步长下的平均回报来衡量策略的好坏。这个平均回报就等于一个确定的时间步长内，智能体处于所有状态的可能性与每一种状态下所采取所有行为能够得到的立即回报之积
$J(\mathbf{\theta })={\sum }_{t=1}{u}_{{\pi }_{\theta }}(s){\sum }_a{\pi }_{\theta }(a|s,\mathbf{\theta })R_s^a$
其中，$u_{{\pi }_{\theta }}(s)$是基于策略${\pi }_{\theta }$生成的马尔科夫链关于状态的分布。可见，目标函数同时取决于状态分布和所选择的动作，而两者又同时受策略参数影响。
将完整轨迹和持续时间步定义的两种目标函数$J(\mathbf{\theta })$的梯度，理论上统一成一种表达式。并且表达式中不涉及关于状态分布对于策略参数的导数：
${\nabla }_{\theta }J(\mathbf{\theta })\propto {\sum }_s\mu (s){\sum }_a{Q}_{\pi }(s,a){\nabla }_{\theta }\pi (a|s,\mathbf{\theta })=E_{s\sim u,a\sim \pi }[{\nabla }_{\theta }\log {\pi }_{\theta }(a|s,\mathbf{\theta })Q_{\pi }(s,a)]$

2.蒙特卡洛策略梯度

2.1 REINFORCE方法

需要通过采样，以使样本梯度的期望与目标函数的实际梯度相等。用采样数据$a_t,s_t$代替s,a，且$E_{s\sim u,a\sim \pi }[G_t|s_t,a_t]=Q_{\pi }(s_t,a_t)$
则有：${\nabla }_{\theta }J(\mathbf{\theta })=E_{s\sim u,a_t\sim \pi }[{\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t,\mathbf{\theta })Q_{\pi }(s_t,a_t)]=E_{s\sim u,a_t\sim \pi }[G_t\log {\pi }_{\theta }(a_t|s_t,\mathbf{\theta })]$
故REINFORCE方法如下：
${\mathbf{\theta }}_{t+1}={\mathbf{\theta }}_t+\alpha G_t{\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t,\mathbf{\theta })$
由此，REINFORCE使用从时间t开始到结束的完整轨迹的回报，因此属于一种蒙特卡洛算法，且仅适用于完整轨迹情况。

2.2带基线的REINFORCE方法

将
$J(\mathbf{\theta })\propto {\sum }_{t=1}{u}_{{\pi }_{\theta }}(s)Q_{\pi }(s,a){\nabla }_{\theta }\pi (a|s,\mathbf{\theta })$
改写为
$J(\mathbf{\theta })\propto {\sum }_{t=1}{u}_{{\pi }_{\theta }}(s)(Q_{\pi }(s,a)-b(s)){\nabla }_{\theta }\pi (a|s,\mathbf{\theta })$
基线b函数可与状态相关，但一定要与行为无关，这样b函数不会改变梯度本身。由此可以明显减少方差。
使用最多的基线函数为值函数$V(s,\mathbf{w})$。其中$\mathbf{w})$是值函数的参数向量，可通过蒙特卡洛方法学习。
流程如下：

2.3TRPO(Trust Region Policy Optimization,置信域策略优化)方法

前文给出的两种方法需要选择合适的步长$\alpha$使得学习算法单调收敛。但步长选择不当对学习过程的恶劣影响是巨大的。
TRPO要解决的问题就是确定一个合适的更新步长，使策略更新后，回报函数的值单调不减。
整体思路如下：1.证明最大化某个替代回报可以保证策略的单调不减改进；2.对这个理论上正确的替代算法进行一系列近似，得到一个使用算法，称为TRPO。通过求解该算法，可获得策略更新的方向和步长。
2.3.1基本概念
从马尔科夫决策过程开始。在策略$\pi$下产生一系列的动作状态对，定义该序列的回报$\eta (\pi )$为：
$\eta (\pi )=E_{s_0,a_0,...}[{\sum }_{t=0}^{\infty }{\gamma }^{t}r(s_t)]$
其中，$a_t\sim \pi (a_t|s_t)$，$s_{t+1}\sim P(s_{t+1}|s_t,a_t)$
同时，还约定：
$Q_{\pi }(s_t,a_t)=E_{s_{t+1},a_{t+1},...}[{\sum }_{l=0}^{\infty }{\gamma }^{l}r(s_{t+l})]$
$V_{\pi }(s_t)=E_{a_t,s_{t+1},...}[{\sum }_{l=0}^{\infty }{\gamma }^{l}r(s_{t+l})]$
$A_{\pi }(s,a)=Q_{\pi }(s,a)-V_{\pi }(s)$，$a_t\sim \pi (a_t|s_t)$，$s_{t+1}\sim P(s_{t+1}|s_t,a_t)$，$t\ge 0$
2.3.2将新策略回报表示为就策略回报加上其他值
将新的策略所对应的回报函数分解成就得策略所对应的回报函数和其他项之和，只要其他项之和大于等于零，新策略能保证回报函数单调不减。
具体推导过程不详述，在鳄鱼书P186~187，这里直接给出新策略回报与就策略回报之间的关系：
$\eta (\tilde{\pi })=\eta (\pi )+{\sum }_s\rho \tilde{\pi }(s){\sum }_a\tilde{\pi }(a|s)A_{\pi }(s,a)$
其中，$\eta (\pi )$是旧策略对应的回报，$\eta (\tilde{\pi })$是新策略对应回报，$\rho$表示折扣回放频率。
2.3.3对$\eta (\tilde{\pi })$近似，获得替代回报函数
当心策略的状态采样结果小于零，难以优化$\eta (\tilde{\pi })$。以下式代替原回报函数：
$L_{\pi }(\tilde{\pi })=\eta (\pi )+{\sum }_s{\rho }_{\pi }(s){\sum }_a\tilde{\pi }(a|s)A_{\pi }(s,a)$
原回报函数和替代回报函数相比，唯一区别在于状态分布不同。
2.3.4控制$\pi$和$\tilde{\pi }$之间的散度小于a，就能保证回报单调增长

2.3.5利用重要采样，对算法进一步近似
简化过程不多叙述(主要是我写不动了)，最终将TRPO问题简化为：
${\max }_{\theta }{E}_{s\sim {\rho }_{thet{a}_{old}},a\sim {\pi }_{{\theta }_{old}}}[\frac{{\pi }_{\theta }(a|s)}{{\pi }_{{\theta }_{old}}}{A}_{{\theta }_{old}}(s,a)]$
$subjectto{E}_{s\sim {\rho }_{thet{a}_{old}}}[D_{KL}({\pi }_{\theta }(\cdot |s))||{\pi }_{\theta }(\cdot |s)]\le \sigma$
2.3.6对目标函数进行一阶逼近，约束函数进行二阶逼近
TRPO进一步简化为不等式约束的标准化问题：
${\min }_{\theta }-({\nabla }_{\theta }{L}_{{\theta }_{old}}(\mathbf{\theta }){|}_{\theta ={\theta }_{old}}\cdot (\mathbf{\theta }-{\mathbf{\theta }}_{old}))]$
$subjectto\frac{1}{2}({\mathbf{\theta }}_{old}-\mathbf{\theta }{)}^T\mathbf{A}({\mathbf{\theta }}_{old})({\mathbf{\theta }}_{old}-\mathbf{\theta })\le \delta$
其中,$L_{{\theta }_{old}}(\mathbf{\theta }){|}_{\theta ={\theta }_{old}}=E_{s\sim {\rho }_{thet{a}_{old}}}[\frac{{\pi }_{\theta }(a|s)}{{\pi }_{{\theta }_{old}}}{A}_{{\theta }_{old}}(s,a)]$
将$D_{KL}({\pi }_{\theta }(\cdot |s)||{\pi }_{\theta }(\cdot |s))$利用泰勒进行二阶展开：
$D_{KL}({\pi }_{\theta }(\cdot |s)||{\pi }_{\theta }(\cdot |s))=-\frac{1}{2}\Delta {\mathbf{\theta }}^T{E}_{{\theta }_{old}}[{\nabla }^2\log {\pi }_{{\theta }_{old}}]\Delta \mathbf{\theta }$
令：$\mathbf{A}=E_{{\theta }_{old}}[{\nabla }^2\log {\pi }_{{\theta }_{old}}]$
2.3.7使用共轭梯度法求解最优更新量
1)计算一个搜索方向
2)求取更新步长$\beta$

3.随机性Actor-Critic及变种

主导思想：使用相对准确的函数$Q_w(s,a)$对行为值函数$Q_{\pi }(s,a)$近似，用近似的值函数来指导策略参数更新。
“行动者-评论家”方法，相当于行动者在行动的同时有评论家指点继而行动者做得越来越好。即使用Critic餐石化值函数，对其进行评估：$Q_w(s,a)\approx Q_{{\pi }_{\theta }}(s,a)$
Actor按照Critic得到的行为值函数，引导策略参数$\mathbf{\theta }$的更新：
$\Delta \mathbf{\theta }=\alpha {\nabla }_{\theta }\log {\pi }_{\theta }(s,a)Q_w(s,a)$

3.1AC方法

Critic通过自举（根据后续状态值更新当前状态值）的方式估计$Q_{{\pi }_{\theta }}(s,a)$。
3.1.1在线策略AC方法
用来采样的策略同时也是需要评估改进的策略，记$\pi (s|a,\mathbf{\theta })$。Actor遵循随机策略梯度定理对策略参数更新，Critic进行策略评估。
以线性逼近函数为例：$Q_w(s,a)={\mathbf{w}}^T\varphi (s,a)$
Critic通过TD(0)更新$\mathbf{w}$，Actor通过策略梯度更新$\mathbf{\theta }$，则有：对一给定样本，存在TD残差：
${\delta }_t=r_s^a+\gamma {\mathbf{w}}^T\varphi (s_{t+!},a_{t+1})-{\mathbf{w}}^T\varphi (s_t,a_t)$
则Critic的近似参数$\mathbf{w}$更新公式为：
${\mathbf{w}}_{t+1}={\mathbf{w}}_t+\beta {\delta }_t\varphi (s_t,a_t)$
Actor策略参数更新公式为：
$\mathbf{\theta }=\mathbf{\theta }+\alpha {\nabla }_{\theta }\log {\pi }_{\theta }(s,a)Q_w(s,a)$
实际情况中，常通过神经网络逼近$Q_w(s,a)$

3.1.2离线策略AC方法
一般使用行为策略$\beta (a|s)$来进行采样生成轨迹，$\beta (a|s)\ne \pi (s|a,\mathbf{\theta })$，并给予此轨迹来进行目标策略$\pi (s|a,\mathbf{\theta })$的评估和改进。
对离线策略的目标函数基于$\mathbf{\theta }$求梯度，可得：
${\nabla }_{\theta }{J}_{\beta }({\pi }_{\theta })\approx E_{s\sim {\rho }^{\beta },a\sim \beta }[\frac{{\pi }_{\beta }(a|s)}{{\pi }_{{\theta }_{\beta }(a|s)}}{\nabla }_{\theta }\log {\pi }_{\theta }(s|a)Q_{\pi }(s,a)]$
根据乘法求导法则，有${\nabla }_{\theta }({\pi }_{\theta }(s|a)Q_w(s,a))={\nabla }_{\theta }{\pi }_{\theta }(s,a)Q_{\pi }(s,a)$
使用OffPAC（离线策略AC）算法使用行为策略$\beta (a|s)$产生采样轨迹，Critic通过这些数据学习，用$Q_w(s,a)$逼近真实函数$Q_{\pi }(s,a)$。
其他部分和在线方法一致，近似值函数参数$\mathbf{w}$更新公式为：
${\mathbf{w}}_{t+1}={\mathbf{w}}_t+\eta \frac{{\pi }_{\theta }(a|s)}{\beta (a|s)}{\delta }_t(\mathbf{w})\varphi (s_t,a_t)$
Critic进行策略评估时，采用带梯度修正项的时序差分法(TDC)。

实在敲不动公式了，照片放上来有点糊，大家凑活一下吧（原文在鳄鱼书P208）
3.1.3兼容性近似函数定理
一个完整AC方法包括两部分：1.Critic引入近似值函数$Q_w(s,a)$，通过时序差分法更新参数$\mathbf{w}$，对真实$Q_{\pi }(s,a)$近似；2.Actor遵循随机策略梯度定理，在Critic指导下，通过梯度上升法，对随机梯度$\pi (s|a,\mathbf{\theta })$的参数$\mathbf{\theta }$进行迭代更新。
采用兼容性近似函数定理设计$Q_w(s,a)$。近似函数$Q_w(s,a)$同时满足两个条件，就可以消除偏差：
条件1：$Q_w(s,a)={\nabla }_{\theta }\log {\pi }_{\theta }(a|s{)}^T\mathbf{w}$
条件2：$\mathbf{w}$使下式均方误差最小：${\epsilon }^2(\mathbf{w})=E_{s\sim {\rho }^{\pi },a\sim {\pi }_{\theta }}[(Q_w(s,a)-Q_{\pi }(s,a){)}^2]$
二者同时满足，有：
${\nabla }_{\theta }J({\pi }_{\theta })=E_{s\sim {\rho }^{\pi },a\sim {\pi }_{\theta }}[{\nabla }_{\theta }\log {\pi }_{\theta }(a|s)Q_w(s,a)]$
近似值函数$Q_w(s,a)$可在没有偏差的情况下代替真实值函数$Q_{\pi }(s,a)$

3.2 A2C方法

引入基线方法进一步减小方差。
基本思想：从策略梯度里减去一个基线函数$B(s)$，要求这一函数仅与状态有关，与行为无关，因而不改变梯度本身。
基线函数特点：能在不改变策略梯度的同时降低其方差。
基函数选择：基于当前状态的值函数$B(s)=V_{{\pi }_{\theta }}(s)$这样就可以基于优势函数对策略梯度进行修改。
Critic部分是一个优势函数，对应的采用Advantage AC方法
理论上，在进行Critic部分计算时，需两个近似函数，同时更新两套参数，一套近似值函数，一套近似行为值函数。但实操时，用状态函数的近似函数来代替实际的状态函数，并树挪死TD误差只需一套参数即可完成计算。
${\delta }_v=r+\gamma V_v(s^{\prime })-V_v(s)$
$E_{{\pi }_{\theta }}[{\delta }_{{\pi }_{\theta }}|s,a]=A_{{\pi }_{\theta }}(s,a)$
最后，策略梯度计算公式变为：
${\nabla }_{\theta }J(\mathbf{\theta })=E_{{\pi }_{\theta }}[{\nabla }_{\theta }\log {\pi }_{\theta }(s,a){\delta }_{{\pi }_{\theta }}]$

3.3 A3C方法

这一段我发现了一篇更容易理解的博客：https://blog.csdn.net/u013236946/article/details/73195035/?ops_request_misc=&request_id=&biz_id=102&utm_term=%E5%BC%82%E6%AD%A5Sarsa&utm_medium=distribute.pc_search_result.none-task-blog-2_allsobaiduweb~default-8-73195035.first_rank_v2_pc_rank_v29&spm=1018.2226.3001.4187
3.3.1异步方法介绍
异步方法的核心思想：并行的交互采样和训练。
具体如下图所示：

使用异步方式训练深度神经网络时，需要注意：
1）在单个机器上使用多个CPU线程进行异步学习，而不是针对每个学习者分别使用单独的机器和参数服务器。保持学习者在同一台机器上，可以消除发送梯度和参数的通信成本；
2）多个学习者需要使用不同的探索策略；
3）一部方法可以应用在各种标准强化学习方法中。
常见的四中异步训练的强化学习算法，分别是one-step Q-learning, one-step Sarsa, n-step Q-learning, and advantage actor-critic（A3C）。

这里给出了异步Q-learning-单线程执行过程。其他一不训练方法的伪代码，就不在此罗列了，下文直接给出A3C方法。
3.3.2A3C方法详述
A3C原理：两套模型，可看做是中央大脑的全局模型和在子线程中运行的本地模型。
此算法不论全局模型还是本地模型，本质都是AC算法。此算法需要更新计算两个参数：策略函数$\pi (a_t|s_t;\mathbf{\theta })$的参数$\mathbf{\theta }$、值函数$V(s_t;{\mathbf{\theta }}_v)$的 参数${\mathbf{\theta }}_v$.
涉及的更新公式有两条：1）梯度下降法更新值函数参数${\mathbf{\theta }}_v$，同异步n步Q-learning方法一样，使用n步积累梯度；2）梯度上升法更新策略参数$\mathbf{\theta }$

确定性策略梯度(DPG)

确定性策略优点：确定性策略的动作是确定的，所以在确定性策略梯度存在的情况下，对确定性策略梯度的求解不需要再动作空间进行采样几分。因此，其需要的样本数据小，确定性策略方法的策略比随机策略效率高很多。

1.确定性策略梯度定理

定理内容：假设在一个马尔科夫决策过程模型中，$p(s^{\prime }|s,a)$,${\nabla }_{a}p(s^{\prime }|s,a)$,${\mu }_{\theta }(s)$,${\nabla }_{\theta }{\mu }_{\theta }(s)$,$r(s,a)$,${\nabla }_{a}r(s,a)$,$p_1(s)$分别存在，并且对于s,s’,a,$\mathbf{\theta }$都是连续函数，（其中，$p_1(s)$表示初始状态概率分布，$p(s^{\prime }|s,a)$表示状态转移概率。以上条件是为了保证${\nabla }_{\theta }{\mu }_{\theta }(s)$和${\nabla }_a{Q}_{\mu }(s,a)$），则确定性策略梯度一定存在且满足：
${\nabla }_{\theta }J({\mu }_{\theta })=E_{s\sim {\rho }_{\mu }}[{\nabla }_{\theta }{\mu }_{\theta }(s){\nabla }_a{Q}_{\mu }(s,a){|}_{a\approx {\mu }_{\theta }(s)}]$

2.DPG方法

2.1在线策略确定性AC方法

确定性的AC方法由两部分组成，Critic评估动作值函数，Actor对行为值函数采用梯度上升法更新策略参数。与随机AC方法不同的是，Actor更新${\mu }_{\theta }$的参数$\mathbf{\theta }$时遵循的是确定性策略梯度定理。
Critic可使用可为近似函数$Q_w(s,a)$代替真实的动作值函数$Q_{\mu }(s,a)$，并通过策略评估方法(如Sarsa)来进行迭代更新，得到参数值$\mathbf{w}$
${\delta }_t=r_t+\gamma Q_w(s_{t+1},a_{t+1})-Q_w(s_t,a_t)$
${\mathbf{w}}_{t+1}={\mathbf{w}}_t+{\alpha }_w{\delta }_t{\nabla }_w{Q}_w(s_t,a_t)$
${\mathbf{\theta }}_{t+1}={\mathbf{\theta }}_t+{\alpha }_{\theta }{\nabla }_{\theta }{\mu }_{\theta }(s_t){\nabla }_a{Q}_w(s_t,a_t){|}_{a={\mu }_{\theta }(s)}$

2.2离线策略确定性AC

行动策略为随机策略，评估策略为确定策略。
离线策略方法使用行为策略$\pi (s,a)$采样生成样本数据，基于样本数据对目标策略${\mu }_{\theta }(s)$进行改进。目标策略${\mu }_{\theta }(s)$是确定性策略。根据确定性策略梯度定理得到离线策略的梯度：
${\nabla }_{\theta }{J}_{\beta }({\mu }_{\theta })=E_{s\sim {\rho }^{\mu }}[{\nabla }_{\theta }{\mu }_{\theta }(a|s){\nabla }_a{Q}_{\mu }(s,a){|}_{a={\mu }_{\theta }(s)}]$
Critic使用Q-learning来估计和更新行为值函数，关键算法如下：
${\delta }_t=r_t+\gamma Q_w(s_{t+1},{\mu }_{\theta }(s_{t+1}))-Q_w(s_t,a_t)$
${\mathbf{w}}_{t+1}={\mathbf{w}}_t+{\alpha }_w{\delta }_t{\nabla }_w{Q}_w(s_t,a_t)$
${\mathbf{\theta }}_{t+1}={\mathbf{\theta }}_t+{\alpha }_{\theta }{\nabla }_{\theta }{\mu }_{\theta }(s_t){\nabla }_a{Q}_w(s_t,a_t){|}_{a={\mu }_{\theta }(s)}$
随机离线策略AC算法通常对Critic核Actor都使用重要性采样。

2.3兼容性近似函数定理

确定性策略条件下的兼容性近似函数定理：找到一个兼容性近似函数$Q_w(s,a)$，是的$Q_w(s,a)$在代替真值$Q_{\mu }(s,a)$的同时，不改变真值的梯度${\nabla }_a{Q}_{\mu }(s,a)$。
只要$Q_w(s,a)$同时满足如下两个条件，可以说$Q_w(s,a)$与策略${\mu }_{\theta }(s)$兼容。可以消除偏差。
条件1：${\nabla }_a{Q}_w(s,a){|}_{a={\mu }_{\theta }(s)}={\nabla }_{\theta }{\mu }_{\theta }(s{)}^T\mathbf{w}$
条件2：近似值函数参数w使下式均方误差最小：
$MSE(\theta ,\mathbf{w})=E[\epsilon (s;\mathbf{\theta },\mathbf{w}{)}^T\epsilon (s;\mathbf{\theta },\mathbf{w})]$
$\epsilon (s;\mathbf{\theta },\mathbf{w})={\nabla }_a{Q}_w(s,a){|}_{a={\mu }_{\theta }(s)}-{\nabla }_a{Q}_{\mu }(s,a){|}_{a={\mu }_{\theta }(s)}$
当两条件同时满足时，有：
${\nabla }_{\theta }J({\mu }_{\theta })=E[={\nabla }_{\theta }{\mu }_{\theta }(a|s)-{\nabla }_a{Q}_w(s,a){|}_{a={\mu }_{\theta }(s)}]$
此定理对于在线策略和离线策略均成立

3.DDPG(深度确定性策略梯度)方法

这部分我看到了一篇还不错的文献，放一下网址，可以参考：https://blog.csdn.net/kenneth_yu/article/details/78478356?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522163766828516780366562177%2522%252C%2522scm%2522%253A%252220140713.130102334…%2522%257D&request_id=163766828516780366562177&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2_alltop_positive~default-1-78478356.first_rank_v2_pc_rank_v29&utm_term=DDPG&spm=1018.2226.3001.4187
DDPG分别用神经网络逼近行为值函数$A(s,a)$（Critic网络）和${\mu }_{\theta }(s)$（Actor网络），实现了直接从原始数据中进行端对端的学习。

3.1算法要点

为了打破数据间的相关性，采用和DQN一样的经历回放方法。
DDPG分别为Critic网络$Q(s,a|{\mathbf{\theta }}_Q)$和Actor网络$\mu (s|{\mathbf{\theta }}_{\mu })$，创建两个神经网络的靠背，即：分别创建两个独立的目标网络$Q^{\prime }(s,a|{\mathbf{\theta }}_{Q^{\prime }})$和$Q^{\prime }(s|{\mathbf{\theta }}_{{\mu }^{\prime }})$
在训练完一个批量(mini-batch)的数据之后，DDPG通过梯度上升/梯度下降算法更新当前(online)网络的参数。然后再通过滑动平均(soft update)方法更新目标(target)网络的参数。
其中，滑动平均遵循：${\mathbf{\theta }}^{\prime }\leftarrow \tau \mathbf{\theta }+(1-\tau ){\mathbf{\theta }}^{\prime }$，且$\tau \ll 1$.
DDPG为了保证有效探索，通过给确定性策略添加噪声N外构建行为策略。${\mu }^{\prime }(s_t)\mu (s_t|{\mathbf{\theta }}_t^{\mu })+N$
除此之外，DDPG还使用了一个被称为批量标准化(Batch Normalization, BN)的深度学习技术来应对不同梁刚问题。

3.2算法流程

整个DDPG一共涉及四个神经网络：Critic目标网络Q’和Critic当前网络Q；Actor目标网络${\mu }^{\prime }$和Actor当前网络$\mu$。


具体流程如下：