强化学习算法入门——目标函数、策略梯度原理与优势函数

---

前言

策略梯度（Policy Gradient）算法最早是由Richard S. Sutton等人于1999年提出的。

强化学习大致分为基于值函数的强化学习、基于策略的强化学习、基于策略和值函数的强化学习。本文会从目标函数开始介绍，逐步引入一种最简单的基于策略的强化学习算法——策略梯度算法，最后介绍了能够提高决策效率的优势函数公式。掌握策略梯度算法是进入强化学习领域的重要一步。许多后续强化学习算法的提出，都是在该算法的基础上不断优化和改进，特别是通过结合不同的策略和价值函数方法来增强算法的效率和效果。

---

思考：把大象装进冰箱需要几步？

一、强化学习的目标函数

1、学会神经网络只需三步

经常把大象装入冰箱的人应该都知道：把大象放入冰箱需要几个步骤？

公布下正确答案：3步——打开冰箱门，把大象装进冰箱，关上冰箱门。（如上图所示）

看似这个问题与本文无关紧要，实际上它可以帮助我们进一步理解深度学习。

任何深度学习模型的创建无非也就是这三步。

打开冰箱门（定义一个神经网络模型架构）——把大象放进去（评价该网络模型的好坏）——关闭冰箱门（基于好坏更新参数，直到最优）

以强化学习为例，第一步就是指构造智能体的动作空间、状态空间、奖励函数以及初始化神经网络种类、层数、神经元数量和各种超参数（如学习率）等。

第二步就是评价强化学习模型的好坏，通常会构造一个损失函数来评价该模型的好坏。损失函数是为优化过程提供一个明确的度量标准而设定的，因此它是模型优化和求解的核心。

第三步优化模型，神经网络常用的方法是梯度下降，即用损失函数的梯度来优化神经网络参数，而强化学习中采用的方法正好与之相反，叫做梯度上升。

2、强化学习的目标函数

在强化学习中，目标函数用于量化智能体在环境中的表现，从而引导其学习更优的策略。通常，智能体的核心目标是学到一个最佳策略，以便在长期运行中获得最大的回报，即最大化累积奖励。

累积奖励是指整个交互过程中所有时间步的奖励总和。此时，智能体在每个时间步的决策不仅关注当前时刻的即时奖励，还会考虑整个回合的长期收益。

假设一个回合的步长总数为 ( T )，即时奖励为 ( r )，则总奖励的公式如下：

$$R=\sum _{t=0}^T{r}_{t+1}$$

上述公式是强化学习中最基础的目标函数。随着强化学习算法的不断发展，该目标函数逐渐衍生出多种不同的版本。

二、策略梯度原理

2.1 目标函数的获取

假设以参数为${\theta }_t$的智能体与环境交互，获得的总奖励为$R({\theta }_t)$。我们先从$R({\theta }_t)$入手，看一下$R({\theta }_t)$是如何计算的。

实际上这个$R({\theta }_t)$并不是一成不变的，因为每次交互中，代理在同一状态下做出什么动作，以及环境从某个状态和动作下转换成下一个状态，都具有一定的随机性，哪怕是同一个参数 ${\theta }_t$下。所以我们可以采用统计法，用总奖励的期望值来替代。假设轨迹 τ = { s 1 , a 1 , r 1 , . . . s n , a n , r n } \tau=\{ s_1,a_1,r_1,...s_n,a_n,r_n\} τ={s1​,a1​,r1​,...sn​,an​,rn​}，该轨迹是由内部参数为${\theta }_t$的代理$\pi ({\theta }_t)$与环境互动产生的。那么这个轨迹发生的概率为：

$$\begin{gathered} p_{{\theta }_t}(\tau )=p(s_1)p_{{\theta }_t}(a_1|s_1)p(s_2|s_1,a_1)p_{{\theta }_t}(a_2|s_2)p(s_3|s_2,a_2)... \\ =p(s_1)\prod _{n=1}^N{p}_{{\theta }_t}(a_n|s_n)p(s_{n+1}|s_n,a_n) \end{gathered}$$

同时，假设该轨迹产生的总奖励为$R(\tau )$。那么期望总奖励$\overline{R}({\theta }_t)$即为多个轨迹产生的总奖励均值，其计算公式为：

$$\begin{gathered} \overline{R}({\theta }_t)=\sum _{\tau }R(\tau )p_{{\theta }_t}(\tau ) \\ ={\mathbb{E}}_{\tau \sim p_{{\theta }_t}(\tau )}[R(\tau )] \end{gathered}$$

也就是说，总奖励使用$\tau$出现的概率进行加权，然后对所有的$R$进行求和，也就是求期望值。

2.2 梯度上升策略

我们已经求出了目标函数，下一步就是用目标函数来更新参数，以使得智能体获得最大的总奖励值。代理采取梯度上升策略来更新其内部参数。同时代理将目标函数等价于损失函数来更新参数，更新公式如下：

$${\theta }_{t+1}={\theta }_t+\alpha ▽\overline{R}({\theta }_t)$$

其中 ${\theta }_t$ 是代理在t时刻的参数, $\alpha$ 是学习率, $▽\overline{R}({\theta }_t)$是基于参数 ${\theta }_t$做出的总奖励值$R$的梯度。

$$▽\overline{R}({\theta }_t)=\frac{\partial R}{\partial \theta }{\mid }_{\theta ={\theta }_t}$$

那么，该如何计算奖励值R对参数 ${\theta }_t$的梯度呢？

2.3 对目标函数求梯度

根据上面2.1节的分析，目标函数的公式如下：
$$\overline{R}({\theta }_t)=\sum _{\tau }R(\tau )p_{{\theta }_t}(\tau )$$

这里的$R(\tau )$是从环境从特定状态和动作下给出的具体数值，与${\theta }_t$参数无关。因此，我们对总奖励期望$R({\theta }_t)$求导可得：

$$▽\overline{R}({\theta }_t)=\sum _{\tau }R(\tau )▽p_{{\theta }_t}(\tau )$$

为不失一般性，这里的${\theta }_t$可以指任意$\theta$。

$$▽\overline{R}(\theta )=\sum _{\tau }R(\tau )▽p_{\theta }(\tau )$$

下面，我们计算一下概率p如何对参数$\theta$求导：

在此之前，我们需要用到一个公式：$▽logf(x)=\frac{1}{f(x)}▽f(x)$，应用到上面的公式：

$$▽\overline{R}(\theta )=\sum _{\tau }R(\tau )p_{\theta }(\tau )▽log{p}_{\theta }(\tau )$$

上述公式可以看出，我们对$\tau$进行求和，把$R(\tau )$和$▽log{p}_{\theta }(\tau )$这两项用$p_{\theta }(\tau )$进行加权。

此时我们可以这么想，$\sum _{\tau }{p}_{\theta }(\tau )f(\tau )={\mathbb{E}}_{\tau \sim p_{\theta }(\tau )}[f(\tau )]$，那么就有：

$$▽\overline{R}(\theta )={\mathbb{E}}_{\tau \sim p_{\theta }(\tau )}[R(\tau )▽log{p}_{\theta }(\tau )]$$

同样的，求期望是理想情况，而实际可以用采样N个轨迹求均值得到：

$${\mathbb{E}}_{\tau \sim p_{\theta }(\tau )}[R(\tau )▽log{p}_{\theta }(\tau )]\approx \frac{1}{N}\sum _{n=1}^{N}R({\tau }^n)▽log{p}_{\theta }({\tau }^n)$$

同时，对$▽log{p}_{\theta }(\tau )$进行详细分析（结合2.1节公式）：

$$\begin{gathered} ▽log{p}_{\theta }(\tau )=▽(logp(s_1)+\sum _{t=1}^{T}log{p}_{\theta }(a_t|s_t)+\sum _{t=1}^{T}logp(s_{t+1}|s_t,a_t)) \\ =▽logp(s_1)+▽\sum _{t=1}^{T}log{p}_{\theta }(a_t|s_t)+▽\sum _{t=1}^{T}logp(s_{t+1}|s_t,a_t) \end{gathered}$$

由于环境的转换概率（如$logp(s_1)、logp(s_{t+1}|s_t,a_t)$）与参数$\theta$无关，所以：

$$\begin{gathered} ▽log{p}_{\theta }(\tau )=▽\sum _{t=1}^{T}log{p}_{\theta }(a_t|s_t) \\ =\sum _{t=1}^T▽log{p}_{\theta }(a_t|s_t) \end{gathered}$$

2.4 策略梯度公式

结合上面的分析，对期望总奖励求导公式可以进一步整理成以下公式：

$${\mathbb{E}}_{\tau \sim p_{\theta }(\tau )}[R(\tau )▽log{p}_{\theta }(\tau )]\approx \frac{1}{N}\sum _{n=1}^N\sum _{t=1}^{T_n}R({\tau }^n)▽log{p}_{\theta }(a_t^n|s_t^n)$$

三、优势函数

在第二章期望总奖励公式中，$R(\tau )$指的是轨迹$\tau$所获得的总奖励值。首先，我们先列出该公式：

$$R(\tau )=\sum _{t=0}^{T_{\tau }}{r}_t$$

其中，$r_t$是在t时刻的即时奖励。$T_{\tau }$是指轨迹$\tau$的总步长。

1、加入基线

结合2.4节中的期望总奖励求导公式，我们发现，$R(\tau )$在策略梯度里起到的作用是在$▽log{p}_{\theta }(\tau )$大小和方向上加一个权重，这个权重的大小取决于获取总奖励值的大小。例如，在相同的状态s上，做出动作a和c后分别获得的R为1分和3分，那么模型更新后就会在状态s上增加c的概率高一些，增加a的概率小一些。但是这样会出现一个问题，那就是如果还有个决定b并没有被采用过，假设执行它获得的分数R是2分，但是模型更新后并不会增加b的概率。这样，相对于c和a来讲，执行b的概率就是减小了的。所以，为了避免这个问题，我们给奖励R加一个基线b。改进后的公式如下：

$$▽{\overline{R}}_{\theta }\approx \frac{1}{N}\sum _{n=1}^N\sum _{t=1}^{T_n}(R({\tau }^n)-b)▽log{p}_{\theta }(a_t^n|s_t^n)$$

通过加入基线，可以使得修正后的总奖励有正有负，消除了当整体奖励为正数时，采样到的动作概率变高，而未被采样的动作概率值相对变低的现象。

基线通常选取为奖励值的均值：$b\approx E[R(\tau )]$

2、取消动作之前的奖励

在一个交互回合中，我们对所有的状态-动作选择概率$log{p}_{\theta }(a_t|s_t)$用一样的总奖励$R(\tau )$进行了加权。这显然是不好的，因为总奖励不好并不完全代表当前动作也不好。同时也可以看出，在某一步长下对状态s采取的任意行动是不会影响到在状态s之前获得的奖励的。那么我们完全可以用对状态s采取行动a之后的总奖励来替代全部过程的总奖励，然后再对该状态-动作对的概率进行加权。

也就是改成为下面的公式：

$$▽{\overline{R}}_{\theta }\approx \frac{1}{N}\sum _{n=1}^N\sum _{t=1}^{T_n}(\sum _{t^{\prime }=t}^{T_n}{r}_{t^{\prime }}^n-b)▽log{p}_{\theta }(a_t^n|s_t^n)$$

该公式将原来的整体总奖励权重，改变成了从当前时刻起，直到整个回合结束，获得的所有奖励总和。以此为依据来判断当前状态下某一行动的好坏。

3、加入折扣因子

从当前时刻t开始计算后续整个回合的所有奖励值时，如果回合太长且不确定性太大怎么办？

如果我们更看重短期回报怎么办？

这个时候我们需要加入一个折扣因子$\gamma$，来帮助均衡一下短期利益与长期利益，减小计算回报的复杂性，加速收敛性。

整体公式如下：

$$▽{\overline{R}}_{\theta }\approx \frac{1}{N}\sum _{n=1}^N\sum _{t=1}^{T_n}(\sum _{t^{\prime }=t}^{T_n}{\gamma }^{t^{\prime }-t}{r}_{t^{\prime }}^n-b)▽log{p}_{\theta }(a_t^n|s_t^n)$$

加入折扣因子会避免太长的回合导致当前动作的影响性变小，该折扣因子是个超参数，可以人为设置。

此时，我们将修改后总奖励值称之为优势函数：

$$A^{\theta }(s_t,a_t)=\sum _{t^{\prime }=t}^{T_n}{\gamma }_{\gamma <1}^{t^{\prime }=t}{r}_{t^{\prime }}^n-b$$

其中$\gamma$（介于[0,1]）为折扣因子，它表示了未来奖励值相对于当前奖励值的重要性。b是基线，是对总体奖励值的修正。$r_{t^{\prime }}^n$是在第n个轨迹下的第t’个步长下获得的即时奖励。

4、加入优势函数后的策略梯度公式

在强化学习中，计算${\overline{R}}_{\theta }$梯度的公式如下：

$$▽{\overline{R}}_{\theta }\approx \frac{1}{N}\sum _{n=1}^N\sum _{t=1}^{T_n}{A}^{\theta }(s_t,a_t)▽log{p}_{\theta }(a_t^n|s_t^n)$$

其中，N是采样轨迹$\tau$的数量，$T_n$是在第n个采样轨迹下的步长数量，优势函数$A^{\theta }(s_t,a_t)$是指参数$\theta$的代理在状态$s_t$下采取动作$a_t$后获得的加权总体奖励值。$▽$代表了梯度，log是取对数，$p_{\theta }(s_t|a_t)$是指参数$\theta$的代理在状态$s_t$下采取动作$a_t$的概率。

---

总结

本文重点描述了策略梯度算法的原理，介绍了如何通过优化目标函数和利用优势函数来提升智能体的决策性能，以实现长期奖励最大化。掌握了上面的内容，你就已经入门基于策略的强化学习算法了。