PPO算法理论

一、深度强化学习理论基础

1.1 马尔可夫决策过程

强化学习中，智能体（强化学习中独立的能够思想并可以同环境交互的实体）和环境一直在交互。在智能体和环境交互的过程中会产生一个序列：$S_0,A_0,R_1,S_1,A_1,R_2,\cdots$，其中，$S$ 为状态，$A$ 为动作，$R$为奖励。马尔可夫过程将这种序列决策过程公式化。在概率论和统计学中，如果随机过程的未来状态的条件概率分布仅取决于当前状态，而不取决于过去事件的顺序，则该随机过程具有马尔可夫特性。具有这种特征的过程称为马尔可夫过程，数学表达式为:

$$P[S_{t+1}|S_t]=P[S_{t+1}|S_1,\cdots ,S_t]$$

马尔可夫决策过程（Markov decision processes, MDP）提供一个建模决策制定的数学模型，它是一个离散随机的控制过程。在一个时间步内，决策者处在一个状态 $s$，根据这个状态选择一个任意的动作 $a$。在下一个时间步，根据当前状态 $s$ 和随机动作 $a$ 进入到下一个状态 $s^{\prime }$ ，环境给予决策者下一状态的奖赏 reward。可以用元组 $(S,A,P,R,\gamma )$ 来描述马尔可夫决策过程，其中 $S$ 为有限状态集，$A$ 为动作空 间，$P$ 为状态转移概率矩阵，$R$ 为奖励函数，$\gamma$ 为折扣因子。马尔可夫决策过程状态转移过程包含动作，这是与马尔可夫过程不同的地方。马尔可夫决策过程又基于基本的马尔可夫假设，即下一状态的概率分布只由当前状态决定，在时间序列中其他任何历史信息均与之无关。马尔可夫决策过程的目标是找到一个最大化随机奖励的累积函数的策略。

1.2 策略与值函数

（1）值函数

通常用状态-动作值函数、状态值函数来评价智能体在环境中的某个状态和某 个状态选择动作的好坏。

状态-动作值函数表示根据策略 $\pi$ 在状态 $s$ 选择行为 $a$ 之后能够得到的期望回报。 其表达式为：
$$v_x(s)\doteq {\mathbb{E}}_r[G_t||S_t=s]={\mathbb{E}}_{\pi }[\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}|S_t=s]$$

状态值函数表示在状态 $s$ 下，根据某个策略 $\pi$ 选择行为能够得到的期望回报。 其表达式为：
$$q_z(s,a)={\mathbb{E}}_{\pi }[\sum _{h=0}^{\infty }{\gamma }^k{R}_{t+k+1}|S_t=s,A_t=a]$$

值函数是对策略的评价，如果策略 $\pi$ 是有限个，可以对全部的策略 $\pi$ 进行对比， 选择出最优的策略 ${\pi }^{\ast }$ ，表达式为：
$$\forall s,{\pi }^{\ast }=\mathrm{argmax}{V}^{\pi }(s)$$

如果策略数量较多，实现起来较为困难。则可以通过迭代的方式不断更新优化策略，从而选出最佳策略。对于一个策略 $\pi (a|s)$，定义它的值函数为 $Q^{\pi }(s,a)$，设置新的策略 ${\pi }^{\prime }(a|s)$，表达式为：
$${\pi }^{\prime }(a|s)=\underset{a}{\mathrm{argmax}}{Q}^{\pi }(s,a)$$

执行 ${\pi }^{\prime }$，则有，
$$\forall s,V^{{\pi }^{\prime }}\ge V^{\pi }(s)$$

因此可以通过此方法获得最优策略：随机初始策略，计算该策略的值函数， 根据值函数反复迭代更新新的策略，直到策略收敛到最优。基于值函数更新策略的方法主要有动态规划、蒙特卡洛方法、时序差分算法。

（2）策略梯度

策略梯度的算法是通过梯度下降的方法来进行优化。策略梯度的方法目标是找到最优的神经网络参数 ${\theta }^{\ast }$ 从而使得总收益函数关于轨迹分布的期望最大化。

策略梯度算法的目标函数的梯度通过推导后变为：
$$\nabla J(\theta )={\mathbb{E}}_{\tau \sim p_{\theta }(\tau )}\left[\right(\sum _{t=1}^T{\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t))(\sum _{t=1}^{T}r(s_t,a_t))]$$

从实际系统中取样的时候，通过下式进行估算，
$$\nabla J(\theta )\approx \frac{1}{N}\sum _{i=1}^N\left[\right(\sum _{t=1}^T{\nabla }_{\theta }\log {\pi }_{\theta }(a_{i,t}|s_{i,t}))(\sum _{t=1}^{T}r(s_{i,t},a_{i,t}))]$$

最后对参数进行更新。
$$\theta \leftarrow \theta +\alpha {\nabla }_{\theta }J(\theta )$$

式中各个参数含义见下

参数	含义
$J$	目标函数
$a_t$	$t$ 时刻智能体动作
$s_t$	$t$ 时刻智能体状态
$r(s_t,a_t)$	$t$ 时刻当前状态 $s$ 与采取动作 $a$ 的奖励函数
$N$	样本

1.3 Actor-Critic （演员-评论家）算法框架

深度强化学习融合了强化学习与深度学习，是二者优势的结合。深度学习可以通过端到端的方式进行非线性的拟合,强化学习可以解决决策的问题,将二者结合起来形成深度强化学习算法。

Actor-Critic（演员-评论家）算法框架融合了前文介绍的值函数估计与策略搜索的算法，集成二者的优点而广泛应用于 深度强化学习算法中，是解决强化学习最常考虑的算法。Actor-Critic算法解决了基于值函数方法的 High bias（高偏差）和基于策略方法的 High Variance（高方差）问题，即设计一个智能体既能直接输出策略又能通过值函数评价当前策略的优劣。引用深度学习中的深度网络来拟合输出的值函数和策略，随着不断更新迭代，策略会越来越接近最优，值函数评价也会更加准确。

Actor-Critic架构包括两个部分，即两个神经网络：策略神经网络负责生成策略。其输入为状态 $s$，输出为动作 $a$，用来拟合策略模型 ${\pi }_{\theta }(a|s)$。评论神经网络负责生成值函数来评估策略的价值。其输入为状态 $s$，输出为 $q(s,a)$，用于拟合值函数 $Q(s,a)$。算法的执行过程如下：

Actor-Critic算法是优秀的算法，深度神经网络可以通过网络参数仿真演员和评论家的参数，通过深度学习进行求解。基础的 Actor-Critic 算法框架比较简单， 可以看作是基于策略方法的延伸，后文采用的PPO算法是其衍生版本。

二、近端策略优化算法（PPO）

对于连续动作的深度强化学习算法常用方法是基于Actor-Critic框架算法的变形。PPO（Proximal Policy Optimization）近端策略优化算法是 2017 年由 OpenAI 提出的一种基于 Actor-Critic（AC）框架的强化学习的基准算法，它不仅有很好的性能（尤其是对于连续控制问题），同时相较于之前的TRPO方法更加易于实现。目标是使用当前拥有的数据在策略上采取最大可能的改进步骤，而又不会走得太远而导致意外导致性能下降。

在众多强化学习算法中，PPO 具有适应性强，训练稳定等优点。PPO算法是策略梯度算法。策略梯度算法的更新对步长非常敏感，但是很难选择合适的步长。 在训练过程中，很容易使新旧策略之间的差异过大，这不利于有效策略的产生。 PPO 提出的目标函数可以在多回合训练中以小数量样本迭代更新，解决了策略梯度算法中步长难以确定和更新差异过大的问题。

2.1 算法框架及流程

PPO 算法是以演员评论家网络为基础，其具体框架如图

算法流程大致分为三步，如下：

2.2 损失函数设计

其评论家网络的更新与传统的 AC 算法并无太大差异，演员网络采用了新的思路进行参数更新。PPO 算法中加入一项比例来描述新旧策略的差异，使得采样数量减少也可以训练好的效果
$$r_t(\theta )=\frac{{\pi }_{\theta }(a_t|s_t)}{{\pi }_{{\theta }_k}(a_t|s_t)}$$

在此基础上制定的目标函数为：
$$L^{CLIP}(\theta )=\widehat{E_t}\left[\min \right(r_t(\theta ){\hat{A}}_t,clip(r_t(\theta ),1-\epsilon ,1+\epsilon )\left)\right]$$

其中，$\theta$ 为策略参数，$r_t(\theta )$ 为新旧策略出现概率的比值，${\hat{A}}_t$ 为 $t$ 时刻的优势函数，$\epsilon$ 为超参数通常取值 0.1、0.2，${\hat{E}}_t$ 表示经验期望。

2.3 优势函数估计

采用优势函数的一般估计（GAE），其借鉴了时序差分算法的思想，其计算公式为：
$$\begin{array}{rl}{\hat{A}}_t^{GAE(\gamma ,\lambda )}:& =(1-\lambda )({\hat{A}}_t^{(1)}+\lambda {\hat{A}}_t^{(2)}+{\lambda }^2{\hat{A}}_t^{(3)}+\cdots )\\ & =(1-\lambda )({\delta }_t^V+\lambda ({\delta }_t^V+\gamma {\delta }_{t+1}^V)+{\lambda }^2({\delta }_t^V+\gamma {\delta }_{t+1}^V+{\gamma }^2{\delta }_{t+2}^V)+\cdots )\\ & =(1-\lambda )({\delta }_t^V(1+\lambda +{\lambda }^2+\cdots )+\gamma {\delta }_{t+1}^V(\lambda +{\lambda }^2+{\lambda }^3+\cdots )\\ & +{\gamma }^2{\delta }_{t+2}^V({\lambda }^2+{\lambda }^3+{\lambda }^4+\cdots )+\cdots )\\ & =(1-\lambda )({\delta }_t^V(\frac{1}{1-\lambda })+\gamma {\delta }_{t+1}^V(\frac{\lambda }{1-\lambda })+{\gamma }^2{\delta }_{t+2}^V(\frac{{\lambda }^2}{1-\lambda }))\\ & =\sum _{l=0}^{\infty }(\gamma \lambda {)}^l{\delta }_{t+1}^V\end{array}$$

其中，${\hat{A}}_t^{GAE(\gamma ,\lambda )}$ 为优势函数，$\gamma$ 一般取 0.99，$\lambda$ 一般取 0.95 -1，${\delta }_t^V$ 为时序差分误差。其计算公式为：
$${\delta }_t^V=r_t+\gamma V(s_{t+1})-V(s_t)$$

其中，$V(s_t)$ 为值函数，$r_t$ 为奖励函数。