策略梯度方法介绍——Value-Based强化学习方法 VS Policy-Based强化学习方法

目录

从本节开始，将介绍策略梯度方法求解强化学习任务。

回顾：基于价值函数(Value-Based)的强化学习方法

Value-Based强化学习方法介绍

从前面介绍的各种求解强化学习任务的方法中，总共介绍了3大类求解 马尔可夫决策过程(Markov Decision Process,MDP)问题的方法，它们分别是：

• 动态规划方法(Dynamic Programming,DP)；
• 蒙特卡洛方法(Monte Carlo,MC)；
• 时序差分方法(Temporal-Difference,TD)

这三种方法存在共同特点：

• 在求解强化学习任务时，最终目标是求解满足规则的最优策略$\pi$。
  但以上三种方法并没有 直接求解 策略$\pi$这个变量，而是先计算 状态价值函数$V_{\pi }(s)$ / 状态-动作价值函数$q_{\pi }(s,a)$；然后再基于价值函数结果改进 策略$\pi$，从而实现策略$\pi$的迭代更新。
  
• 无论是动态规划方法的策略迭代，还是蒙特卡洛控制、时序差分控制，它们呈现的共同点都是在策略改进过程中，均选择最优价值函数对应的动作作为新的策略。
  (即便在同轨策略方法中存在使用$ϵ-$贪心策略修正的情况，但并不影响 选择“最优动作”作为新的策略 的本质）
  $$a^{\ast }={\pi }^{\prime }(s)=\underset{a}{\mathrm{argmax}}{q}_{\pi }(s,a)$$
• 这三种方法都是 表格式强化学习 的代表方法，其主要思想是：

1. 在算法开始前，初始化一个存储价值函数的空间$Q-Table$；
2. 在迭代过程中，每次迭代更新对应位置$(state,action)$的价值函数信息；
3. 并不是从迭代开始就会将正确的信息加入到$Q-Table$中(Q-Learning中产生的就最大化偏差是个很好的例子)，而是通过不断试错——与环境不断交互并从环境的反馈信息中进行学习。

Value-Based强化学习方法的缺陷

什么样的情况是Value-Based强化学习方法 无法解决/解决不好 的呢？

• 根据上面的特点介绍，我们发现，每次策略改进得到的最优策略${\pi }^{\ast }$一定是 确定性策略/基于$ϵ-$贪心策略修正后的 软性策略。
  但ϵ-贪心策略仍然改变不了‘最优动作占据新策略最多权重，并且远超其他动作权重’的本质。因此，该策略主体仍然是某一确定性动作，即价值函数最高结果对应的动作。

  但是每次迭代产生的这种确定性动作反而限制了迭代过程(这样会导致每次迭代更新的 方向性极强)。在真实环境中，我们更想要一个随机性策略而不是确定性动作。
  这里说的‘随机性策略’和‘软性策略’截然不同，因为‘软性策略中的随机性’是人为定的超参数(ϵ),而不是机器生成的;

• Value-Based强化学习方法面对的问题一般情况下状态(State)、动作(Action) 等变量是 可数的、有穷的 ：前面介绍具体强化学习方法时，经常对 状态集合$\mathcal{S}$,动作集合$\mathcal{A}$,奖励集合$\mathcal{R}$进行 逻辑场景构建：传送门
  S = { s 1 , s 2 , ⋯   , s m } A = { a 1 , a 2 , ⋯   , a n } R = { r 1 , r 2 , ⋯   , r k } \mathcal S = \{s_1,s_2,\cdots,s_m\} \\ \mathcal A = \{a_1,a_2,\cdots,a_n\} \\ \mathcal R = \{r_1,r_2,\cdots,r_k\} S={s1​,s2​,⋯,sm​}A={a1​,a2​,⋯,an​}R={r1​,r2​,⋯,rk​}
  并且在构建时声明它们是 离散型随机变量。但是在真实环境中，我们遇到的动作(Action) 不一定是离散的：

  示例：二维平面内智能体运动方向$a$的选择
  如果使用角度来描述它的运动方向(智能体选择的运动方向 与 当前状态智能体运动方向 之间的夹角)：那么有效的运动方向范围表示如下：
  $$a\in [0,2\pi ]$$
  如果将运动方向的选择看成智能体选择的动作，即动作的选择结果在$[0,2\pi ]$内均有效——该场景中的动作明显是一个连续型随机变量，没有办法将$[0,2\pi ]$内 所有动作 全部列举出来。

• 针对步骤2若后退一步——假设我们动作的选择是可数的、有穷的，但是动作的数量 极多，使用价值函数强化学习方法进行求解时，我们需要建立一个超级大的$Q-Table\to$ 用于迭代过程中价值函数的更新。但这种操作内存占用情况是非常严重的。

综上，Value-Based强化学习方法并不能有效解决上述问题。

基于策略(Policy-Based)的强化学习方法

适用场景

相比于Value-Based强化学习方法，Policy-Based强化学习方法不再利用价值函数，而是利用 策略函数 直接选择动作。

对比Value-Based强化学习方法的缺陷，我们介绍Policy-Based强化学习方法适用的场景：

• 产生的策略是随机性策略；
• 动作是连续型随机变量(动作空间连续)；

这相比仅仅是针对确定性策略、动作是离散型随机变量的Value-Based强化学习方法，Policy-Based强化学习方法能够解决问题的范围 更加广泛——使用Policy-Based强化学习方法同样可以求解Value-Based强化学习方法的场景。

求解过程

在Value-Based强化学习方法中，策略$\pi (a\mid s)$指的是给定状态$s$条件下，有意义的动作$a$的概率分布，其数学符号表示如下：
$$\begin{array}{r}\pi (a\mid s)=\left(\begin{array}{c}\pi (a_1\mid s)\\ \pi (a_2\mid s)\\ ⋮\\ \pi (a_N\mid s)\end{array}\right)(a_1,a_2,\cdots ,a_N\in \mathcal{A}(s))\end{array}$$
但Policy-Based强化学习方法中的动作$a$是连续性随机变量，因此此时的策略$\pi$不再是上述概率集合的形式，而是可微函数的形式——动作发生的概率受到某个概率密度函数的控制。

根据上述思路，进行如下分析：

• 根据实际情况，假设动作$a$服从某一概率密度函数$P(a\mid s;\theta )$(换种思路理解——将动作$a$理解成从概率模型$P(a\mid s;\theta )$产生的样本)
  其中s表示给定的状态，theta表示概率密度函数的参数信息。
• 最终目标从求解$\pi (a\mid s)$转换成求解策略中的参数$\theta$。
  因此，将含参数$\theta$的策略称为策略函数。记作$\pi (a\mid s;\theta )$,通常情况下可简写成${\pi }_{\theta }$。
  $$\pi (a\mid s;\theta )=P(A_t=a\mid S_t=s,{\theta }_t=\theta )$$
  关于策略函数$\pi (a\mid s;\theta )$分布的特点，上面我们提到，使用Policy-Based强化学习方法同样可以求解Value-Based强化学习方法的场景，那么动作分别是离散和连续的情况下，$\pi (a\mid s;\theta )$是如何进行表示的？

1. 如果动作$a$是离散型随机变量 $\to$ 使用$softmax$函数将其映射为 指数族分布：
   这里并不是一定要使用softmax函数进行映射 -> 只要能够映射为‘指数族分布’即可。
将$h(s,a;\theta )$函数定义为‘动作偏好值’ -> 将离散型的策略$\pi (a\mid s)$视为关于$\theta$的一个函数，仅此而已;
   $$\pi (a\mid s)\to \frac{e^{h(s,a;\theta )}}{{\sum }_{k\in \mathcal{A}(s)}{e}^{h(s,k;\theta )}}$$
2. 如果动作$a$是连续型随机变量 $\to a$服从分布的复杂性有很多种，这里不妨设$a$服从 高斯分布 ：
   这里将高斯分布中的$\mu ,\sigma$看作参数$\theta$的函数，若$\theta$能够求解，$\mu ,\sigma$同样也可以被求解，最终求解整个分布。
   s是状态，s是给定的。
   $$\mu =\mu (s;\theta ),\sigma =\sigma (s;\theta )$$
   至此，假设$a$是服从1维随机变量的高斯分布，策略函数$\pi (a\mid s;\theta )$表示如下：
   π ( a ∣ s ; θ ) → 1 2 π σ ( s ; θ ) exp ⁡ { − ( a − μ ( s ; θ ) ) 2 2 σ 2 ( s ; θ ) } \pi(a \mid s;\theta) \to \frac{1}{\sqrt{2\pi}\sigma(s;\theta)}\exp\{{-\frac{(a - \mu(s;\theta))^2}{2\sigma^2(s;\theta)}}\} π(a∣s;θ)→2π ​σ(s;θ)1​exp{−2σ2(s;θ)(a−μ(s;θ))2​}

• 为了衡量策略函数$\pi (a\mid s;\theta )$的优劣性 $\to$ 围绕参数$\theta$构建一个目标函数$\mathcal{J}(\theta )$。通常情况下，最直接的思路就是将$\mathcal{J}(\theta )$定义为情节中初始状态回报(Return)的期望，即 初始状态的状态价值函数$V_{\pi (a|s;\theta )}(s_0)$。
  '目标函数'并不是Policy-Based强化学习方法的特有概念，在Value-Based强化学习方法中也存在‘目标函数’的说法：$V_{\pi }(s),q_{\pi }(s,a)$都是目标函数;
之所以选择‘初始状态’回报的期望 -> 极大限度地将$R_1,R_2,\cdots ,R_T$利用上。
  数学符号表示如下：
  $$\begin{array}{rl}\mathcal{J}(\theta )& =V_{\pi (a\mid s;\theta )}(s_0)\\ & ={\mathbb{E}}_{\pi (a\mid s;\theta )}[G_0]\\ & ={\mathbb{E}}_{\pi (a\mid s;\theta )}[R_1+\gamma R_2+\cdots +{\gamma }^{T-1}{R}_T]\end{array}$$

至此，我们推演一下策略梯度方法的求解过程：

• 初始参数${\theta }_{init}$，基于该参数得到初始策略函数$\pi (a\mid s;{\theta }_{init})$；
  $${\theta }_{init}\to \pi (a\mid s;{\theta }_{init})$$
• 基于该策略函数去执行一个完整情节 { S 0 , a 0 , S 1 , a 1 , ⋯   , S T − 1 , a T − 1 , S T } \{S_0,a_0,S_1,a_1,\cdots,S_{T-1},a_{T-1},S_T\} {S0​,a0​,S1​,a1​,⋯,ST−1​,aT−1​,ST​},得到奖励结果如下：
  $$R_1,R_2,\cdots ,R_T$$
• 基于奖励结果 $\to$ 求解目标函数$\mathcal{J}({\theta }_{init})$;
  $$\mathcal{J}({\theta }_{init})={\mathbb{E}}_{\pi (a\mid s;\theta )}[R_1+\gamma R_2+\cdots +{\gamma }^{T-1}{R}_T]$$
• 从常规 机器学习的梯度方法 思考，对$\mathcal{J}({\theta }_{init})$求解 梯度，再配合学习率$\alpha$对${\theta }_{init}$进行更新；
  由于$\mathcal{J}({\theta }_{init})$是初始状态的状态价值函数，自然是希望 $\mathcal{J}({\theta }_{init})$越大越好，因此，这里使用 梯度上升法 对$\theta$进行迭代：
  该步骤在后续进行讲解。
  $${\theta }^{\prime }\leftarrow {\theta }_{init}+\alpha \nabla \mathcal{J}({\theta }_{init})$$
• 此时，得到一个更新后的新参数${\theta }^{\prime }$，将${\theta }^{\prime }\leftarrow {\theta }_{init}$重新执行上述步骤，直至$\mathcal{J}(\theta )$达到最优并且稳定为止。

但上述推演过程中我们漏掉了一个问题：如何求解梯度$\nabla \mathcal{J}({\theta }_{init})$？

关于梯度$\nabla \mathcal{J}(\theta )$变化的核心要素——状态分布

状态分布思路的产生

基于上一节的思路继续思考：到底是哪些要素影响梯度$\nabla \mathcal{J}(\theta )$的变化？

首先观察$\nabla \mathcal{J}(\theta )$和$\theta$之间的关联关系。
为了简化计算：
$\to$ 不妨假定动作$a$服从1维随机变量的某种分布；
$\to$ 此时参数$\theta$同样也是1维随机变量；
$\to$ 导致求解梯度$\nabla \mathcal{J}(\theta )$退化成对$\mathcal{J}(\theta )$的导数计算${\mathcal{J}}^{\prime }(\theta )$；

从导数定义角度观察${\mathcal{J}}^{\prime }(\theta )$：
$${\mathcal{J}}^{\prime }(\theta )=\underset{\Delta \theta \to 0}{\lim }\frac{\Delta \mathcal{J}(\theta )}{\Delta \theta }$$

继续观察：如果参数$\theta$发生变化($\Delta \theta$)，到底如何影响$\mathcal{J}(\theta )$跟着发生变化($\Delta \mathcal{J}(\theta )$)?

• (必然发生的情况)首先，由于$\theta$是策略函数$\pi (a\mid s;\theta )$的参数，因此$\theta$的变化必然引起策略参数$\pi (a\mid s;\theta )$的变化；

  策略函数$\pi (a\mid s;\theta )$的变化，自然会引发$\mathcal{J}(\theta )$的变化；
  $$\mathcal{J}(\theta )={\mathbb{E}}_{\pi (a\mid s;\theta )}[R_1+\gamma R_2+\cdots +{\gamma }^{T-1}{R}_T]$$

• (状态分布产生的核心思路)基于策略函数产生的一条完整情节，那么该情节中 状态出现的概率分布和策略函数之间存在直接联系。具体描述如下：

  基于参数$\theta$产生的策略函数$\pi (a\mid s;\theta )$，并使用该策略执行了一个完整情节。该情节中的状态部分表示如下：
  { s 0 , s 1 , s 2 , ⋯   , s T } \{s_0,s_1,s_2,\cdots,s_T\} {s0​,s1​,s2​,⋯,sT​}

  其中$s_T$表示终结状态。如果状态(State)自身是离散型随机变量，状态集合$\mathcal{S}$表示如下：
  S = { s ( 0 ) , s ( 1 ) , ⋯   , s ( N ) } \mathcal S = \{s^{(0)},s^{(1)},\cdots,s^{(N)}\} S={s(0),s(1),⋯,s(N)}
  在完整情节中，各随机变量在情节种出现的次数(频率)和概率表示如下：

  	$s^{(0)}$	$s^{(1)}$	$s^{(2)}$	$\cdots$	$s^{(N)}$
  出现次数	$k_0$	$k_1$	$k_2$	$\cdots$	$k_N$
  出现概率	$$\frac{k_0}{T}$$	$$\frac{k_1}{T}$$	$$\frac{k_2}{T}$$	$$\cdots$$	$$\frac{k_N}{T}$$

  $$\sum _{i=1}^N{k}_i=T$$
  至此，我们得到了一组关于状态的概率分布：
  $$p(s)=[\frac{k_0}{T},\frac{k_1}{T},\cdots ,\frac{k_N}{T}]$$
  我们在机器学习笔记——极大似然估计与最大后验概率估计介绍过 频率学派角度看待机器学习问题，并引用了黑格尔的一句名言：存在即合理。

  虽然产生的状态分布$p(s)$和策略函数$\pi (a\mid s;\theta )$之间 不是映射关系：

  • 因为策略函数$\pi (a\mid s;\theta )$是随机性策略，虽然知道动作对应的概率分布，但该状态选择的具体动作是未知的；
  • 状态转移过程$P(s^{\prime },r\mid s,a)$同样也是一个概率分布，并且状态转移过程是系统内部发生的变化，和智能体的主观意志无关；

  但是根据频率学派角度的观点：$p(s)$是通过策略函数$\pi (a\mid s;\theta )$产生出来的【真实存在】的样本，既然能够产生，自然存在它的合理性。

  因此，状态分布指向的结果即：情节中 策略函数$\pi (a\mid s;\theta )$的变化会影响 状态分布的变化 ，而状态分布的变化会影响目标函数$\mathcal{J}(\theta )$的变化。

状态分布的求解过程

上面介绍了相同的策略函数$\pi (a\mid s;\theta )$可能得到各种各样状态分布样本(非映射关系)；但是我们需要对这些样本的特征进行归纳——归纳后的结果与策略函数之间存在具体关系。

这里引入两个新的概念：

• 平均次数(与表格中的“出现次数”对应)，平均次数定义可以表述为：以某一具体状态$s$在某完整情节中出现的期望次数。数学符号表示为$\eta (s)$；
• 出现概率(与表格中的“出现概率”对应)，具体表述为状态$s$的平均次数和所有状态的平均次数的比值。数学符号表示为$\mu (s)$；

如何求解$\eta (s)$？我们将$\eta (s)$的求解过程分为两个部分：

• 状态$s$是初始状态 $\to$ 状态$s$没有前继状态；
  根据概率的频率定义，状态$s$在初始状态出现的平均次数即 重复大量试验后，状态$s$是初始状态的频率，即$s$被选择的概率。
  $\to$ 使用$h(s)$表示$s$被选择的概率。

• 状态$s$是非初始状态 $\to$ 状态$s$在情节中必然存在一个前继状态通过状态转移的方式 得到状态$s$。令前继状态为$\bar{s}$；

  根据该思路继续思考：

  • 如果知道了状态$s$所有可能的前继状态$\bar{s}$的平均次数$\eta (\bar{s})$；
  • 并且知道在前继状态$\bar{s}$条件下，动作$a$的概率分布$\pi (a\mid \bar{s})$；
  • 并且还知道每个前继续状态$\bar{s}$转移到状态$s$的转移概率$P(s\mid \bar{s},a)$；

  那么可以求解期望的方式求解状态$s$的平均次数：
  $$\sum _{\bar{s}}\eta (\bar{s})\sum _{a\in \mathcal{A}(\bar{s})}\pi (a\mid \bar{s})P(s\mid \bar{s},a)$$

• 将上述两种状态(初始状态\非初始状态)结果相加，则有：
  $$\eta (s)=h(s)+\sum _{\bar{s}}\eta (\bar{s})\sum _{a\in \mathcal{A}(\bar{s})}\pi (a\mid \bar{s})P(s\mid \bar{s},a)$$
  我们发现，上述式子是个迭代式子——它描述了状态$s$的平均次数$\eta (s)$与它前继状态的平均次数$\eta (\bar{s})$的 关联关系。
  在求解$\eta (\bar{s})$时，也会使用上式与$\bar{s}$的前继构建关联关系。
  以此类推，必然会递推到初始状态；

  因此，构建新的数学符号对上式进行修改，修改结果如下：
  η ( s ) = ∑ k = 0 T − 1 P r { s 0 → s , k , π } \begin{aligned} \eta(s) & = \sum_{k=0}^{T-1}P_r\{s_0 \to s,k,\pi\} \end{aligned} η(s)​=k=0∑T−1​Pr​{s0​→s,k,π}​
  该式可以理解为：

  • P r { s 0 → s , k , π } → P_r\{s_0 \to s,k,\pi\} \to Pr​{s0​→s,k,π}→ 初始状态$s_0$，在策略函数$\pi$的条件下，进行了$k$次状态转移，最终达到状态$s$的概率；
  • 在得到上述概率后，相当于有 P r { s 0 → s , k , π } P_r\{s_0 \to s,k,\pi\} Pr​{s0​→s,k,π}的概率必然在对应位置出现1次状态$s$，那么状态$s$在该位置出现的平均次数即：
    P r { s 0 → s , k , π } × 1 P_r\{s_0 \to s,k,\pi\} \times 1 Pr​{s0​→s,k,π}×1
    那么状态$s$在整个情节中出现的平均次数即：
    ∑ k = 0 T − 1 P r { s 0 → s , k , π } × 1 = ∑ k = 0 T − 1 P r { s 0 → s , k , π } \sum_{k=0}^{T-1}P_r\{s_0 \to s,k,\pi\} \times 1 = \sum_{k=0}^{T-1}P_r\{s_0 \to s,k,\pi\} k=0∑T−1​Pr​{s0​→s,k,π}×1=k=0∑T−1​Pr​{s0​→s,k,π}

出现概率$\mu (s)$根据概念描述即：某一状态的平均次数占所有状态平均次数的比重。
$$\mu (s)=\frac{\eta (s)}{{\sum }_{s^{\prime }}\eta (s^{\prime })}$$

状态分布的求解全部结束，下一节将介绍策略梯度定理。

相关参考：
【强化学习】策略梯度方法-策略近似
深度强化学习原理、算法pytorch实战 —— 刘全，黄志刚编著