深度强化学习总结(DQN,DDQN,Actor-Critic,DDPG)

学习强化学习总结的笔记，按照自己的理解总结的，还没总结完，边学边总结，可能存在错误欢迎指正

Deep Q Network（DQN）

DQN存在两个神经网络，即
（1） Action_Net：用于DQN选择动作a（输出为每个动作的Q值，然后选取最大Q值对应的动作。即输出后过softmax）。通过反向传播对权重进行更新。
输入维度：（状态数量，1）
输出维度：（动作数量，1）
（2）Target_Net：用于估计Q值以更新模型参数。参数更新的方式为每 X步用Action_Net 对Target_Net 进行覆盖。
输入维度：（状态数量，1）
输出维度：（动作数量，1）

DQN总流程图：

DQN的整个过程可分为两部分：使执行过程和学习过程。
首先是执行过程为Action_Net工作，即更新自身状态和储存样本。
然后是学习过程为Target_Net工作，即从经验池中抽取小批量数据然后进行更新模型参数。
上述两个过程一般在编写代码时主要在主函数main中体现。即先调用模型的动作选择函数model.choose_action()，然后在调用模型的学习函数model.learn().
【注】：执行过程中仅Action_Net参与，而学习过程中Action_Net和Target_Net均参与。
执行过程（Action_Net）：
（1）将当前状态S扔进Action_Net，输出所有动作对应的Q值（$Q_A$）并选取最大Q值的动作a执行。
（2）执行动作a与环境交互，获取下一个时刻的状态$s^{\prime }$和奖励$r$。
（3）储存样本（$S,a,R,s^{\prime }$)
学习过程（Action_Net，Target_Net）：
（4）从存储记忆中抽取一个batch作为训练样本，即若干个$(S,a,R,S^{\prime })$。
（5）将$S$扔进Action_Net获取所有动作对应的Q值（$Q_A$）。
（6）将$S^{\prime }$扔进Target_Net获取所有动作对应的Q值（$Q_T$），然后计算$y=r+\gamma \underset{a}{\max }{Q}_T$. 其中$\gamma$表示折扣因子。
（7）定义$loss=(y-Q_A{)}^2$，并采用梯度下降更新Action_Net。

Double DQN：

由于DQN中Target_Net输出的 $\underset{a}{\max }{Q}_T$会产生overestimate，说白了就是Target_Net选择的动作不对导致估计的Q值不太合适。那怎么解决这个问题，很简单，Q值没估计对主要是赖在$\underset{a}{\max }$上，那既然估计的动作不合适，那直接上实际的就完事了。所以这个动作的选择直接让Action_Net来做。所以DDQN的总体与DQN大致相同，唯一的区别在于学习过程中y值的计算方式不一样。

DQN： $Y_t^{DQN}=R_{t+1}+\gamma \underset{a}{\max }Q(S_{t+1},a:{\theta }_t^{-})$.
DQN中，$y$值的计算只与Target_Net有关。$\underset{a}{\max }Q(S_{t+1},a:{\theta }_t^{-})$意思是Target_Net输出在状态$S^{\prime }$下所有动作对应的Q值，然后看哪个动作对应的Q值最大，把该Q值选出来计算y.

Doube DQN： $Y_t^{DoubleDQN}=R_{t+1}+\gamma Q(S_{t+1},\underset{a}{\mathrm{argmax}}Q(S_{t+1},a:{\theta }_t);{\theta }_t^{-})$.
DDQN中，$y$值的计算与Target_Net和Action_Net均有关。即首先将状态$S^{\prime }$扔进Action_Net把动作a给定死了。然后把状态$S^{\prime }$扔进Target_Net出所有动作的Q值，然后直接把动作a的Q值拿去计算y（DDQN中，Target_Net的输出中即使动作ａ对应的Q值不是最大的，但仍然拿去计算ｙ）。
DDQN学习过程（Action_Net，Target_Net）：
（1）从存储记忆中抽取一个batch作为训练样本，即若干个$(S,a,R,S^{\prime })$。
（2）将$S$扔进Action_Net获取所有动作对应的Q值（$Q_A$）。
（3）将$S^{\prime }$扔进Action_Net根据输出的Q值确定动作$a$。
（4）将$S^{\prime }$扔进Target_Net获取所有动作对应的Q值（$Q_T$），然后挑选出动作$a$对应的Q值（$Q_T^a$）
（5）然后计算$y=r+\gamma Q_T^a$. 其中$\gamma$表示折扣因子。
（6）定义$loss=(y-Q_A{)}^2$，并采用梯度下降更新Action_Net。
【注】：${\theta }^{-}$表示Target_Net，$\theta$表示Action_Net.

Actor-Critic

策略梯度是每个episode返回一个reward，因此存在以下三个问题：
① 由于agent在一个episode中会采取很多动作，我们很难说哪个动作对最后结果是有用的，换句话说，这种算法存在高方差（variance）;
② 收敛速度慢；
③ 只在这种episodic环境下能用。
为了解决上述问题，于是提出了Actor-Critic算法。这种算法就是通过引入一种评价机制来解决高方差的问题。即 AC = Q-learning + policy gradient

Actor的前生是 Policy Gradients, 负责在连续动作中选取合适的动作并从环境中获取反馈（即$Rewar{d}_{env}$),；Critic的前生是 Q-learning 或者其他的以值为基础的学习法 , 负责对Actor进行评价（即$Rewar{d}_{cri}$), 通过对比$Rewar{d}_{env}$和$Rewar{d}_{cri}$，来对Critic进行更新。

算法流程：

1、选取初始状态$S_t$；
2、Actor根据状态$S_t$选取动作$a_t$, 取得状态$S_{t+1}$和$Rewar{d}_{env}$；
3、Critic评价状态$S_{t+1}$；
4、计算TD_error: ；
5、根据TD_error更新Critic；

【注】：Actor的输入为$S_t$，输出为$a_t$
      Critic的输入为$S_{t+1}$，输出为$Rewar{d}_{cri}$

Actor-Critic方法的优势：可以单步更新，但比传统的 Policy Gradient要快
Actor-Critic方法的劣势：取决于Critic的价值判断，但是Critic难收敛，再加上Actor的更新，就更难收敛。为了解决收敛问题，提出了Deep Deterministic Policy Gradient（DDPG）。

Deep Deterministic Policy Gradient（DDPG）

DDPG分为Actor和Critic两部分，且每部分内均含有执行和target两个网络：即Actor（${\theta }_{\mu }$）、Actor_Targe（${\theta }^{{\mu }^{\prime }}$）、Critic（${\theta }^Q$）、Critic_Target（${\theta }^{Q^{\prime }}$）。

Actor需要输出连续的动作值，故Actor的更新采用policy gradient；Critic用于估计Q值，故采用对loss进行反向传播更新模型参数。与DQN一样，Target网络的权重通过执行网络覆盖来进行更新。

一句话概括 DDPG: 一种使用 Actor Critic 结构, 但是输出的不是行为的概率, 而是具体的行为, 用于连续动作 (continuous action) 的预测. 即 DDPG = Actor-Critic + DQN，提高了 Actor Critic 的稳定性和收敛性。

（图片源于https://mofanpy.com/tutorials/machine-learning/reinforcement-learning/DDPG/）

Actor采用Policy Gradient
动作估计网络（Actor）：用来输出实时的动作, 供 actor 在现实中实行.
动作现实网络（Actor_Target）：用来更新价值网络系统的

Critic采用Value-Based
状态现实网络（Critic）：输入（动作现实网络来的动作 + 状态的观测值）计算TD_error
状态估计网络（Critic_Target）：拿着当时 Actor 施加的动作当做输入

模型更新：

Actor：
$${\nabla }_{{\theta }^{\mu }}\approx \frac{1}{N}\sum _i{\nabla }_{a}Q(s,a|{\theta }^Q){|}_{s=s_i,a=\mu (s_i)}{\nabla }_{{\theta }^{\mu }}\mu (s|{\theta }^{\mu }){|}_{s_i}$$
$\frac{1}{N}{\sum }_i{\nabla }_{a}Q(s,a|{\theta }^Q){|}_{s=s_i,a=\mu (s_i)}$（From Critic）：这次 Actor 的动作要怎么移动, 才能获得更大的 Q.
${\nabla }_{{\theta }^{\mu }}\mu (s|{\theta }^{\mu }){|}_{s_i}$（From Actor）：Actor 要怎么样修改自身参数, 使得 Actor 更有可能做这个动作.

Critic：
$$\begin{gathered} y_i=r_i+\gamma Q^{\prime }(s_{i+1},{\mu }^{\prime }(s_{i+1}|{\theta }^{{\mu }^{\prime }})|{\theta }^{Q^{\prime }}) \\ loss:L=\frac{1}{N}\sum _i(y_i-Q(s_i,a_i|{\theta }^Q){)}^2 \end{gathered}$$

上面这个是关于 Critic 的更新, 它借鉴了 DQN 和 Double Q learning 的方式, 有两个计算 Q 的神经网络, Q_target 中依据下一状态, 用 Actor 来选择动作, 而这时的 Actor 也是一个 Actor_target (有着 Actor 很久之前的参数). 使用这种方法获得的 Q_target 能像 DQN 那样切断相关性, 提高收敛性.

算法流程：