DataWhale-深度学习2阶段-打卡2

策略梯度算法(2024-1-18~2024-1-20)

策略梯度（$policy-based$）

1.基于价值算法的缺点

• 无法表示连续动作。DQN等算法通过学习状态和动作的价值函数来间接指导策略。只能处理离散动作问题。
• 高方差 。基于价值的方法通常是通过采样来估计价值函数，导致方差很高。
• 探索与利用的平衡问题 。$ϵ\text{-greedy}$ 策略可以实现一定程度的随机但效果不理想。

2.策略梯度算法

累积的价值期望 $V^{\ast }(s)$

${\pi }_{\theta }(a|s)$ 来表示策略，即在状态 $s$ 下采取动作 $a$ 的概率分布 $ p(a|s)$，其中 $\theta$ 是我们要去求出来的模型参数。

回合（$episode$）：环境首先会产生初始状态$s_0$然后智能体对应的执行动作$a_0$,然后转移到下一个状态$s_1$，并且奖励一个$r_1$,智能体再根据当前状态选择下一个动作，以此递推至终止状态。

轨迹($trajectory$):把所有状态和动作按顺序组合起来。$\tau$。
τ = { s 0 , a 0 , s 1 , a 1 , ⋯   , s T , a T } (9.1) \tag{9.1} \tau=\left\{s_{0}, a_{0}, s_{1}, a_{1}, \cdots, s_{T}, a_{T}\right\} τ={s0​,a0​,s1​,a1​,⋯,sT​,aT​}(9.1)
$T$ 表示回合的终止时刻。由于环境初始化是随机的，我们假设产生初始状态 $s_0$ 的概率为 $p(s_0)$ ，那么给定策略函数 ${\pi }_{\theta }(a|s)$ 的情况下，其实是很容易计算出轨迹 $\tau$ 产生的概率的，用 $P_{\theta }(\tau )$ 表示。为了方便读者理解，我们假设有一个很短的轨迹 τ 0 = { s 0 , a 0 , s 1 } \tau_0 = \{s_0,a_0,s_1\} τ0​={s0​,a0​,s1​} ，即智能体执行一个动作之后就终止本回合了。

拆分一下在这条轨迹产生的过程中出现了那些概率事件，首先是环境初始化产生状态 $s_0$ ，接着是智能体采取动作 $a_0$ ，然后环境转移到状态 $s_1$，即整个过程有三个概率事件，那么根据条件概率的乘法公式，该轨迹出现的概率应该为 环境初始化产生状态 $s_0$ 的概率 $p(s_0)$ 乘以智能体采取动作 $a_0$ 的概率 ${\pi }_{\theta }(a_0|s_0)$ 乘以环境转移到状态 $s_1$ 的概率 $p(s_1|s_0,a_0)$，即 $P_{\theta }({\tau }_0)={\pi }_{\theta }(a_0|s_0)p(s_1|s_0,a_0)$ 。依此类推，对于任意轨迹 $\tau$ ，其产生的概率如式 $\text{(}9.2)$ 所示。

$$\begin{array}{rl}{P}_{\theta }(\tau )& =p(s_0){\pi }_{\theta }(a_0|s_0)p(s_1|s_0,a_0){\pi }_{\theta }(a_1|s_1)p(s_2|s_1,a_1)\cdots \\ & =p(s_0)\prod _{t=0}^T{\pi }_{\theta }\left(a_t|s_t\right)p\left(s_{t+1}|s_t,a_t\right)\end{array}\text{\hspace{1em}(9.2)}$$
将环境在每一步状态和动作下产生的奖励记作一个函数 $r_{t+1}=r(s_t,a_t),t=0,1,\cdots$，那么对于一条轨迹 $\tau$ 来说，对应的累积奖励就可以计算为 $R(\tau )={\sum }_{t=0}^{T}r\left(s_t,a_t\right)$，注意这里出于简化考虑我们忽略了折扣因子 $\gamma$

那么在给定的策略下，即参数 $\theta$ 固定，对于不同的初始状态，会形成不同的轨迹 ${\tau }_1,{\tau }_2,\cdots$，对应轨迹的出现概率前面已经推导出来为 $P_{\theta }({\tau }_1),P_{\theta }({\tau }_2),\cdots$，累积奖励则为 $R({\tau }_1),R({\tau }_2),\cdots$。结合概率论中的全期望公式，我们可以得到策略的价值期望公式，即式 $\text{(}9.3)$ 。

$$\begin{array}{rl}J({\pi }_{\theta })=\underset{\tau \sim {\pi }_{\theta }}{E}[R(\tau )]& =P_{\theta }({\tau }_1)R({\tau }_1)+P_{\theta }({\tau }_2)R({\tau }_2)+\cdots \\ & ={\int }_{\tau }{P}_{\theta }(\tau )R(\tau )\\ & =E_{\tau \sim P_{\theta }(\tau )}[\sum _{t}r(s_t,a_t)]\end{array}\text{\hspace{1em}(9.3)}$$
只要能求出梯度，就可以使用万能的梯度上升或下降的方法来求解对应的最优参数 ${\theta }^{\ast }$

目标是求关于参数 $\theta$ 的梯度，而公式中的$R(\tau )$跟$\theta$其实是没有关联的，因此在求解梯度的时候可以将这一项看作常数。

算法领域默认使用 $\log x$ 表示以 $e$ 为底的对数即可。回到我们的问题，使用这个对数微分技巧，我们就可以将目标函数的梯度做一个转化，即式 $\text{(}9.4)$ 。

$${\nabla }_{\theta }{P}_{\theta }(\tau )=P_{\theta }(\tau )\frac{{\nabla }_{\theta }{P}_{\theta }(\tau )}{P_{\theta }(\tau )}=P_{\theta }(\tau ){\nabla }_{\theta }\log P_{\theta }(\tau )\text{\hspace{1em}(9.4)}$$
根据 $P_{\theta }(\tau )=p(s_0){\prod }_{t=0}^T{\pi }_{\theta }\left(a_t|s_t\right)p\left(s_{t+1}{s}_t,a_t\right)$，再根据对数公式$log(ab)=loga+logb$，即可求出式 $\text{(}9.5)$ 。

$$\log P_{\theta }(\tau )=\log p(s_0)+\sum _{t=0}^T(\log {\pi }_{\theta }(a_t\mid s_t)+\log p(s_{t+1}\mid s_t,a_t))\text{\hspace{1em}(9.5)}$$
发现$\log P_{\theta }(\tau )$展开之后只有中间的项$\log {\pi }_{\theta }(a_t\mid s_t)$跟参数$\theta$有关，也就是说其他项关于$\theta$的梯度为 $0$ ，即式 $\text{(}9.6)$ 。

$$\begin{array}{rl}{\nabla }_{\theta }\log P_{\theta }(\tau )& ={\nabla }_{\theta }\log {\rho }_0\left(s_0\right)+\sum _{t=0}^T\left({\nabla }_{\theta }\log {\pi }_{\theta }\left(a_t\mid s_t\right)+{\nabla }_{\theta }\log p\left(s_{t+1}\mid s_t,a_t\right)\right)\\ & =0+\sum _{t=0}^T\left({\nabla }_{\theta }\log {\pi }_{\theta }\left(a_t\mid s_t\right)+0\right)\\ & =\sum _{t=0}^T{\nabla }_{\theta }\log {\pi }_{\theta }\left(a_t\mid s_t\right)\end{array}\text{\hspace{1em}(9.6)}$$

\qquad 现在我们就可以很方便地求出目标函数的梯度了，如式 $\text{(}9.7)$ 所示。

$$\begin{array}{rl}{\nabla }_{\theta }J\left({\pi }_{\theta }\right)& ={\nabla }_{\theta }\underset{\tau \sim {\pi }_{\theta }}{\mathrm{E}}[R(\tau )]\\ & ={\nabla }_{\theta }{\int }_{\tau }{P}_{\theta }(\tau )R(\tau )\\ & ={\int }_{\tau }{\nabla }_{\theta }{P}_{\theta }(\tau )R(\tau )\\ & ={\int }_{\tau }{P}_{\theta }(\tau ){\nabla }_{\theta }\log P_{\theta }(\tau )R(\tau )\\ & =\underset{\tau \sim {\pi }_{\theta }}{\mathrm{E}}\left[{\nabla }_{\theta }\log P_{\theta }(\tau )R(\tau )\right]\\ & =\underset{\tau \sim {\pi }_{\theta }}{\mathrm{E}}\left[\sum _{t=0}^T{\nabla }_{\theta }\log {\pi }_{\theta }\left(a_t\mid s_t\right)R(\tau )\right]\end{array}\text{\hspace{1em}(9.7)}$$
公式中出现累乘的项时，我们通常都会取对数简化，因为根据对数公式的性质可以将累乘的项转换成累加的项，这样一来问题会更加便于处理。

区别

3.REINFORCE算法

不必采样所有的轨迹，而是采样一部分且数量足够多的轨迹，然后利用这些轨迹的平均值来近似求解目标函数的梯度。这种方法就是蒙特卡洛策略梯度算法，也称作 $\text{REINFORCE}$ 算法。

$\text{REINFORCE}$ 算法的做法是每次采样 $N$ 条轨迹，然后对这 $N$ 条轨迹的梯度求平均，即式 $\text{(}9.8)$ 。

$$\nabla J_{\theta }\approx \frac{1}{N}\sum _{n=1}^N\sum _{t=1}^{T_n}{G}_t^n\nabla \log {\pi }_{\theta }\left(a_t^n\mid s_t^n\right)\text{\hspace{1em}(9.8)}$$
注意这里我们把奖励函数换成了带有折扣因子的回报 $G_t^n={\sum }_{k=t}^{T_n}{\gamma }^{k-t}{r}_k^n$，其中 $T_n$ 表示第 $n$ 条轨迹的长度，$\gamma$ 表示折扣因子，$r_k^n$ 表示第 $n$ 条轨迹在第 $k$ 步的奖励。
$$\begin{array}{rl}{G}_t& =\sum _{k=t+1}^T{\gamma }^{k-t-1}{r}_k\\ & =r_{t+1}+\gamma G_{t+1}\end{array}\text{\hspace{1em}(9.9)}$$

4.策略梯度推到进阶

我们假定了目标是使得每回合的累积价值最大，因此用对应的总奖励 $R(\tau )$ 或回报 $G(\tau )$ 来求解或者说评估价值。但实际使用过程中我们会发现这种价值的评估方法并不是很稳定，因为每回合的累积奖励或回报会受到很多因素的影响，比如回合的长度、奖励的稀疏性等等。

4.1平稳分布

马尔科夫链，在处于平稳分布下，我们会发现一些规律，一个是任意两个状态之间都是互相连通的，即任意两个状态之间都可以通过一定的步骤到达，这个性质称为连通性（$\text{connectedness}$）。

切换到其他状态的概率就变成 $0$ 了，这个时候连通性就不成立了，我们把这个状态也叫做吸收状态。

马尔可夫链中，终止态不是吸收状态。只是方便计算把他的价值函数定义为0。类似于游戏中我们死亡并不代表结束，可以重新开始。

任意状态在平稳分布下的概率都是一样的，即任意状态的概率都是相等的，这个性质称为细致平稳（$\text{detailed balance}$）。

一个马尔科夫链满足连通性，那么它一定满足细致平稳性，反之亦然。

马尔可夫链的平稳分布了，对于任意马尔可夫链，如果满足以下两个条件：

• 非周期性：由于马尔可夫链需要收敛，那么就一定不能是周期性的，实际上我们处理的问题基本上都是非周期性的，这点不需要做过多的考虑。
• 状态连通性：即存在概率转移矩阵$P$，能够使得任意状态$s_0$经过有限次转移到达状态$s$，反之亦然。

\qquad 这样我们就可以得出结论，即该马氏链一定存在一个平稳分布，我们用$d^{\pi }(s)$表示，可得到式 $\text{(}9.11)$ 。

$$d^{\pi }(s)=\underset{t\to \infty }{\lim }P\left(s_t=s\mid s_0,{\pi }_{\theta }\right)\text{\hspace{1em}(9.11)}$$

4.2基于平稳分布的策略梯度推导

$$J(\theta )=\sum _{s\in \mathcal{S}}{d}^{\pi }(s)V^{\pi }(s)=\sum _{s\in \mathcal{S}}{d}^{\pi }(s)\sum _{a\in \mathcal{A}}{\pi }_{\theta }(a\mid s)Q^{\pi }(s,a)\text{\hspace{1em}(9.12)}$$

\qquad 同样可以利用对数微分技巧求得对应的梯度，如式 $\text{(}9.13)$ 所示。

$$\begin{array}{rl}{\nabla }_{\theta }J(\theta )& \propto \sum _{s\in \mathcal{S}}{d}^{\pi }(s)\sum _{a\in \mathcal{A}}{Q}^{\pi }(s,a){\nabla }_{\theta }{\pi }_{\theta }(a\mid s)\\ & =\sum _{s\in \mathcal{S}}{d}^{\pi }(s)\sum _{a\in \mathcal{A}}{\pi }_{\theta }(a\mid s)Q^{\pi }(s,a)\frac{{\nabla }_{\theta }{\pi }_{\theta }(a\mid s)}{{\pi }_{\theta }(a\mid s)}\\ & ={\mathbb{E}}_{{\pi }_{\theta }}\left[Q^{\pi }(s,a){\nabla }_{\theta }\log {\pi }_{\theta }(a\mid s)\right]\end{array}\text{\hspace{1em}(9.13)}$$

5.策略函数的设计

5.1离散动作的策略函数

将动作概率分布转化到有正有负，采用Softmax函数来处理，如下
$${\pi }_{\theta }(s,a)=\frac{e^{\varphi (s,a{)}^T}\theta }{{\sum }_b{e}^{\varphi (s,b{)}^T}}\text{\hspace{1em}(9.14)}$$
其中 $\varphi (s,a)$ 就是模型前面一层的输出。对应的梯度也可方便求得，如式 $\text{(}9.15)$ 所示。

$${\nabla }_{\theta }\log {\pi }_{\theta }(s\mid a)=\varphi (s,a)-{\mathbb{E}}_{{\pi }_{\theta }}[\varphi (s,.)]\text{\hspace{1em}(9.15)}$$

\qquad 由于右边一项 ${\mathbb{E}}_{{\pi }_{\theta }}[\varphi (s,.)]$ 表示的是动作层所有输出之和，也就是概率分布之和，即等于1，因此我们可以将其去掉，这样一来就可以得到更简单的梯度表达式，如式 $\text{(}9.16)$ 所示。

$${\nabla }_{\theta }\log {\pi }_{\theta }(s\mid a)=\varphi (s,a)\text{\hspace{1em}(9.16)}$$

\qquad 在实战中 $\varphi (s,a)$ 和 $\text{Softmax}$ 函数层 一般是合并在一起的，即直接在模型最后一层输出 $\text{Softmax}$ 函数的结果，即概率分布 $p_{\theta }(s,a)$，这样就得到了最终的策略梯度，即式 $\text{(}9.17)$ 。

$${\nabla }_{\theta }\log {\pi }_{\theta }(s\mid a)=\log p_{\theta }(s,a)\text{\hspace{1em}(9.17)}$$
$\text{logits-p}$ ,对应$p_{\theta }(s,a)$ 叫做 $\text{probs}$，

5.2连续动作的策略函数

对于连续动作空间，策略对应的动作从高斯分布$\mathbb{N}\left(\varphi (s{)}^{\mathbb{T}}\theta ,{\sigma }^2\right)$ ,对应梯度求得如下
$${\nabla }_{\theta }\log {\pi }_{\theta }(s,a)=\frac{\left(a-\varphi (s{)}^T\theta \right)\varphi (s)}{{\sigma }^2}\text{\hspace{1em}(9.18)}$$
动作从高斯分布$\mathbb{N}\left(\varphi (s{)}^{\mathbb{T}}\theta ,{\sigma }^2\right)$ ,对应梯度求得如下
$${\nabla }_{\theta }\log {\pi }_{\theta }(s,a)=\frac{\left(a-\varphi (s{)}^T\theta \right)\varphi (s)}{{\sigma }^2}\text{\hspace{1em}(9.18)}$$
只需要在模型最后一层输出两个值，一个是均值，一个是方差，然后再用这两个值来构建一个高斯分布，然后采样即可。