【RL】策略梯度（VPG）与Actor-critic的思想与推导

获取更多内容，请访问博主的个人博客 爱吃猫的小鱼干的Blog

一 RL学习什么

• 动作值函数（Q函数）。

  以Q-Learning、DQN为代表，这个系列的算法学习最优动作值函数 $Q^{\ast }(s,a)$ 的近似函数 $Q_{\theta }(s,a)$ 。

  Q-learning 智能体的动作由下面的式子给出：

$$a(s)=\arg \underset{a}{\max }{Q}_{\theta }(s,a)$$

• 策略（随机或确定的）。

  这个系列的方法将策略显示表示为 ${\pi }_w(a\mid s)$ ，它们直接对性能目标 $J({\pi }_w)$ 进行梯度下降来优化参数 $w$ ，使得我们输入当前的 $s$ 就能输出应该执行的最佳动作 $a$ 。

• 值函数。

• 以及/或者环境模型。

二 Vanilla Policy Gradient（VPG）

以下考虑的情况是状态 $s$ 为连续高维变量、动作 $a$ 为分类变量（有限个）的MDP。并且，设环境 $P_{s,s^{\prime }}^a$ 与 $r_5^a$ 为时齐的，不随时间的变化而变化。（状态与动作都是连续变量的MDP有更高效的DDPG等方法解决，不在VPG里讨论）

2.1 策略网络的构造

在随机且时齐的MDP中，策略是状态到动作的映射。由于 $a$ 是分类变量，所以没有办法直接输出 $a$ ，只能输出一个条件分布 $\pi (a\mid s)$ 。为了拟合这个策略，我们定义一个神经网络policy net。网络的输入是 $s$ ，输出是一个 $n$ 维向量，对它进行softmax之后，得到 $n$ 个不同的概率（其和为1），分别对应于最佳动作是各个 $a$ 的概率。设网络的参数为 $w$ ，则可以将网络输出简记为 ${\pi }_w(a\mid s)$ ，它表示在 $s$ 状态下最佳动作是 $a$ 的条件概率。
与我们熟悉的分类网络做比较：

我们可以认为分类网络是在用“权重相同的训练集”去训练，而策略网络则是在用“带有不同权重的训练集”去训练。只要我们能够找出衡量 $(s,a)$ 好坏的标准.$v$ ，得到形式 $(s,a,v)$ 的数据，就可以把训练策略网络的过程看成“带权重的监督学习”。但是，我们如何找出这个 $v$ 呢？找出之后具体 $v$ 应该按照什么公式训练呢？下面，要详细地根据定义推导出policy gradient的表达式。

2.2 推导最基本的策略梯度

接下来推导策略梯度的公式及其计算方法。

假设策略网络的参数为 $w$ ，则可以将策略记为 ${\pi }_w$ 。

• 轨迹的概率。在不同网络参数 $w$ 下，策略 ${\pi }_w$ 给出的轨迹 $\tau =\left(s_0,a_0,r_0,s_1,a_1,r_1,s_2,a_2,r_2,\dots ,s_t,a_t,r_t\right)$ 有不同的分布 $P_{{\pi }_w}(\tau )$ ，简记为$P_w(\tau )$ 。

$$P_w(\tau )={\Pi }_{t=0}^n{\pi }_w\left(a_t\mid s_t\right){\Pi }_{t=0}^{T-1}{P}_{s_t,s_{t+1}}^{a_t}{\Pi }_{t=0}^{T}P\left(r_t\mid s_t,a_t\right)$$

• 目标函数。我们的目标是最大化期望回报 $J(w)=E_w(r(\tau ))$ ，这里假设回报无衰减（ $\gamma =1$ ，对于 $\gamma <1$ 的情况推导过程类似）。

$$J(w)=E_w(r(\tau ))={\int }_{\tau }{P}_w(\tau )r(\tau )d\tau$$

• 策略梯度。我们想求的“策略梯度”就是 ${\nabla }_{w}J(w)$ 。得到策略梯度就可以通过梯度下降来优化策略 $w_{k+1}=w_k+\alpha {\nabla }_{w}J(w)$ 。

$${\nabla }_{w}J(w)={\int }_{\tau }\left({\nabla }_w{P}_w(\tau )\right)r(\tau )d\tau$$

​ 上面的${\nabla }_{w}J(w)$仍然是一个积分式，我们很自然地希望将其表示为${\int }_{\tau }{P}_w(\tau ){\nabla }_{w}f(\tau )d\tau$的形式，其中的$f$是某 个函数。根据期望的定义，这个积分的结果就是$E_w\left[{\nabla }_{w}f(\tau )\right]$。这样的形式更加简便，并且也更容易计算—— 只要我们用当前的策略与环境交互采样很多$\tau$，并计算出梯度${\nabla }_{w}f(\tau )$的均值，就能将其作为${\nabla }_{w}J(w)$的一个 估计。

• 对数导数技巧。

$$P_w(\tau ){\nabla }_w\log P_w(\tau )=P_w(\tau )\frac{{\nabla }_w{P}_w(\tau )}{P_w(\tau )}={\nabla }_w{P}_w(\tau )$$

​ 将 (5) 带入 (4) 得：
$$\begin{gathered} {\nabla }_{w}J(w)={\int }_{\gamma }\left({\nabla }_w{P}_w(\tau )\right)r(\tau )d\tau \\ ={\int }_{\gamma }{P}_w(\tau ){\nabla }_w\log \left(P_w(\tau )\right)r(\tau )d\tau \\ =E_w\left[{\nabla }_w\log \left(P_w(\tau )\right)r(\tau )\right] \end{gathered}$$

• 环境函数的梯度。环境不依赖于参数 $w$ ，所以式 (2) 中 $P_{s_i,s_{i+1}}^{a_i}$ ，$P\left(r_i\mid s_i,a_i\right)$ 的梯度为零。
• 轨迹对数概率的梯度。所以轨迹对数概率的梯度为：

$${\nabla }_w\log \left(P_w(\tau )\right)=\sum _{t=0}^T{\nabla }_w\log {\pi }_w(a_t\mid s_t)$$

• 简化后的基本策略梯度。

$${\nabla }_{w}J(w)=E_w\left[\sum _{t=0}^T{\nabla }_w\log {\pi }_w\left(a_t\mid s_t\right)r(\tau )\right]$$

​ 这是一个期望，这意味着我们可以使用样本均值对其进行估计。 如果我们收集一组轨迹 D = { τ i } i = 1 , ⋯   , N D = {\left\{ \tau_i \right\}}_{i=1,\cdots,N} D={τi​}i=1,⋯,N​ ， 其中每一个轨迹通过让智能体在环境中使用策略 ${\pi }_w$ 执行操作得到，则策略梯度可以使用以下式子进行估计：
$$\hat{g}=\frac{1}{N}\sum _{\tau \in D}\sum _{t=0}^T{\nabla }_w\log {\pi }_w\left(a_t\mid s_t\right)r(\tau )$$

2.3 VPG算法

Policy gradient
构建策略网络 ${\pi }_w(a\mid s)$ ，并随机初始化参数
重复下面步骤：
用策略 ${\pi }_w(a\mid s)$ 与环境交互，产生大量 $\tau$
计算 ${\nabla }_w\log {\pi }_w\left(a_t\mid s_t\right)r(\tau )$ 的均值，作为策略梯度 ${\nabla }_{w}J(w)$ 的估计
让 $w$ 沿着策略梯度的方向前进：$w=w+\alpha {\nabla }_{w}J(w)$
直到收敛

三 Actor-Critic

3.1 AC的出发点

上述策略梯度式 (7) 可以理解为：“用带有权重的训练集去训练策略网络”，对于每一步决策，我们用一个能衡量这步决策好坏的“学习权重” $r(\tau )$ 去”促进“或”抑制“当前轨迹 $\tau$ 上的所有决策 ${\pi }_w(a\mid s)$ 。$r(\tau )>0$ ，则”促进“这个轨迹上的所有策略；$r(\tau )<0$ ，则”抑制“这个轨迹上的所有策略。

但是，即使 $r(\tau )>0$ ，轨迹 $\tau$ 上也有可能出现少量差的决策，如果采用上面的方法，会同时”促进“这些差的决策。在采样样本比较有限的情况下，这可能会导致巨大的均方误差。

一个最自然的想法是，我们不应该将一个 $\tau$ 上所有 $(s,a)$ 编成一个batch，用一个统一的“权重” $r(\tau )$ 来衡量它们的好坏。而应该找出一个“权重”能够单独衡量每一个 $(s,a)$ 的好坏。

3.2 对策略梯度的优化

3.2.1 不要受过去的影响（Don’t Let the Past Distract You）

回顾我们的策略梯度表达式(7) ，他将“轨迹”上每个动作的对数概率都乘了一个“权重” $r(\tau )$ （曾经与将来所有奖励的总和）。

但这没有多大意义。智能体实际上仅应根据其采取动作后的 结果 强化动作。采取动作之前获得的奖励与该动作的效果无关。这种直觉体现在数学上，可以证明策略梯度也可以表示为：
$$\begin{gathered} {\nabla }_{w}J(w)\approx E_w\left[\sum _{t=0}^T{\nabla }_w\log {\pi }_w\left(a_t\mid s_t\right)\sum _{t‘=t}^{T}R(s_{t^{\prime }},a_{t^{\prime }},s_{t^{\prime }+1})\right] \\ \approx E_w\left[\sum _{t=0}^T{\nabla }_w\log {\pi }_w\left(a_t\mid s_t\right)\hat{Q}(s_t,a_t)\right] \end{gathered}$$

为什么这样做会更好？策略梯度的关键问题是需要多少个样本轨迹才能获得它们的低方差样本估计。 我们从公式开始就包括了与过去的奖励成比例的强化动作的项， 它们均值为零，但方差不为零：导致它们只会给策略梯度的样本估计值增加噪音。 通过删除它们，减少了所需的样本轨迹数量。

3.2.2 $\hat{Q}(s_t,a_t)$ 的Baseline

式 (9) 用当前动作的”状态-动作“价值函数的估计 $\hat{Q}(s_t,a_t)$ 作为衡量本次决策的”权重“，看起来是很合适的，但是必须考虑这样一种情形：在回报都是大于零的环境中（例如贪吃蛇游戏，把游戏结束时蛇身的长度作为回报），$\hat{Q}(s_t,a_t)$ 会是恒正的值，按照上面的思路，即使是一个很差的决策（例如游戏结束时蛇身长为3），策略梯度也会在”权重“ $\hat{Q}(s_t,a_t)$ 的作用下比较缓慢的”促进“这个决策。

但是，如果我们采样了 $N$ 条轨迹，就可以用 $\hat{Q}(s_t,a_t)$ 减去自己的均值，使得比均值小的 $\hat{Q}(s_t,a_t)$ 变为负，比均值大的 $\hat{Q}(s_t,a_t)$ 变为正，”赏罚分明“的进行训练策略。

那么，给式 (9) 策略梯度的 $\hat{Q}(s_t,a_t)+b(s_t)$ 后该式还成立吗？可以证明它仍然是成立的。

由ELPG引理可得：
$$E_w\left[{\nabla }_w\log \left(P_w(x)\right)b\right]={\int }_x{\nabla }_w{P}_w(x)bdx=b{\nabla }_w{\int }_x{P}_w(x)dx=0$$
所以：
$${\nabla }_{w}J(w)\approx E_w\left[\sum _{t=0}^T{\nabla }_w\log {\pi }_w\left(a_t\mid s_t\right)\left(\hat{Q}(s_t,a_t)-b(s_t)\right)\right]$$
其中 $b(s_t)=\frac{1}{N}{\sum }_i^N{Q}_{i,t}$ ，它可以看作是对状态值函数 $V(s_t)=E_w(Q(s_t,a_t))$ 的估计，因此策略梯度可以表示为：
$${\nabla }_{w}J(w)\approx E_w\left[\sum _{t=0}^T{\nabla }_w\log {\pi }_w\left(a_t\mid s_t\right)\left(\hat{Q}(s_t,a_t)-V(s_t)\right)\right]$$

而由Bellman Equation知道：$A(s_t,a_t)=Q(s_t,a_t)-V(s_t)$ ，因此策略梯度又可以表示为：
$${\nabla }_{w}J(w)\approx E_w\left[\sum _{t=0}^T{\nabla }_w\log {\pi }_w\left(a_t\mid s_t\right)A(s_t,a_t)\right]$$
由于：
$$\begin{gathered} Q(s_t,a_t)=r(s_t,a_t)+V(s_{t+1}) \\ A(s_t,a_t)\approx r(s_t,a_t)+V(s_{t+1})-V(s_t) \end{gathered}$$
所以，计算策略梯度式(12) 的关键是计算 $V(s_t)$ 。实际上，无法精确计算 $V(s_t)$ ，通常这是通过神经网络 $V_{\varphi }(s_t)$ 来近似的（Value net）。该神经网络会与策略同时进行更新（以便价值网络始终近似于最新策略的值函数）。

3.3.3 Value net怎么更新

Value net的目的是估计 $V(s_t)$ ，那么最小化它们之间的均方误差就可以作为一个监督信号，用来在神经网络中反向传播学习 $V_{\varphi }$ 。
$$\begin{gathered} L(\varphi )=\frac{1}{N}\sum _i^N{\Vert V_{\varphi }(s_{i,t})-V(s_{i,t})\Vert }^2 \\ =\frac{1}{N}\sum _i^N{\Vert V_{\varphi }(s_{i,t})-\left(r(s_{i,t},a_{i,t})+V_{\varphi }(s_{i,t+1})\right)\Vert }^2 \end{gathered}$$
至此，Value net可以通过训练，很好的估计 $V(s_t)$ 。将它替代VPG中的 $r(\tau )$ 作为”权重“，指引策略网络学习最优策略。同时也达到了本节开始提出的目的——找出一个能够单独衡量每一个 $(s,a)$ 好坏的“权重”。

3.3 Actor-Critic算法

AC算法的大体框架是这样的：我们定义两个神经网络：一个是用来计算 $V_{\varphi }(s_t)$ 价值网络，另一个则是策略网络。我们用策略网络与环境交互产生许多数据集，并用这些数据集同时训练两个网络，提升网络的性能。

Actor-Critic
构造并初始化Value net的参数 $w$ 和Policy net的参数 $\varphi$
重复以下步骤：
通过Policy net与环境交互产生数据集 $(s,a,r,s^{\prime })$
训练Value net：让 $\varphi$ 沿着使损失 $L(\varphi )={\Vert V_{\varphi }(s)-(r+V_{\varphi }(s^{\prime }))\Vert }^2$ 下降的方向前进
训练Pollicy net：让 $w$ 沿着梯度 ${\nabla }_{w}J(w)$ 的方向前进
直到收敛

获取更多内容，请访问博主的个人博客 爱吃猫的小鱼干的Blog