《强化学习的数学原理》(2024春)_西湖大学赵世钰 Ch10 Actor-Critic 方法 » P2

• PDF 资料 整理 v3 链接

《强化学习的数学原理》(2024春)_西湖大学赵世钰 Ch10 Actor-Critic 方法 » P1

指标 2： 平均奖励

$\begin{array}{rl}J(\theta )={\bar{r}}_{\mu }& =\sum _{s\in \mathcal{S}}{d}_{\mu }(s)r_{\mu }(s)\\ & ={\mathbb{E}}_{S\sim d_{\mu }}[r_{\mu }(S)](10.20)\end{array}$

• 其中 $r_{\mu }(s)=\mathbb{E}[R|s,a=\mu (s)]=\sum _{r}rp(r|s,a=\mu (s))$ 为即时奖励的期望

Theorem 10.4 无折扣情形下的 确定性 策略梯度原理

无折扣情形下

$\begin{array}{rl}{\nabla }_{\theta }J(\theta )& =\sum _{s\in \mathcal{S}}{d}_{\mu }(s){\nabla }_{\theta }\mu (s)({\nabla }_a{q}_{\mu }(s,a)){|}_{a=\mu (s)}\\ & ={\mathbb{E}}_{S\sim d_{\mu }}[{\nabla }_{\theta }\mu (S)({\nabla }_a{q}_{\mu }(S,a)){|}_{a=\mu (S)}]\end{array}$

• $d_{\mu }$ 是策略 $\mu$ 下的状态的状态分布。

Box 10.5： 证明 Theorem 10.4

由于 策略是确定性的， 有 $v_{\mu }(s)=q_{\mu }(s,\mu (s))$
由于 $q_{\mu }$ 和 $\mu$ 都是关于 $\theta$ 的函数
  ~  
${\nabla }_{\theta }{v}_{\mu }(s)={\nabla }_{\theta }{q}_{\mu }(s,\mu (s))=({\nabla }_{\theta }{q}_{\mu }(s,a)){|}_{a=\mu (s)}+{\nabla }_{\theta }\mu (s)({\nabla }_a{q}_{\mu }(s,a)){|}_{a=\mu (s)}(10.21)$
  ~  
在无折扣情形，
  ~  
$\begin{array}{rl}{q}_{\mu }(s,a)& =\mathbb{E}[R_{t+1}-{\bar{r}}_{\mu }+v_{\mu }(S_{t+1})|s,a]\\ & =\sum _{r}p(r|s,a)(r-{\bar{r}}_{\mu })+\sum _{s^{\prime }}p(s^{\prime }|s,a)v_{\mu }(s^{\prime })\\ & =r(s,a)-{\bar{r}}_{\mu }+\sum _{s^{\prime }}p(s^{\prime }|s,a)v_{\mu }(s^{\prime })\end{array}$
  ~  
由于 $r(s,a)=\sum _{r}rp(r|s,a)$ 与 $\theta$ 无关
  ~  
${\nabla }_{\theta }{q}_{\mu }(s,a)=0-{\nabla }_{\theta }{\bar{r}}_{\mu }+\sum _{s^{\prime }}p(s^{\prime }|s,a){\nabla }_{\theta }{v}_{\mu }(s^{\prime })$
  ~  
将上式 代入 式 (10.21)
  ~  
${\nabla }_{\theta }{v}_{\mu }(s)=-{\nabla }_{\theta }{\bar{r}}_{\mu }+\sum _{s^{\prime }}p(s^{\prime }|s,\mu (s)){\nabla }_{\theta }{v}_{\mu }(s^{\prime })+\underset{u(s)}{\underbrace{{\nabla }_{\theta }\mu (s)({\nabla }_a{q}_{\mu }(s,a)){|}_{a=\mu (s)}}}s\in \mathcal{S}$
  ~  
上述方程对所有 $s\in \mathcal{S}$， 联合获得矩阵-向量形式;
  ~  
$\underset{{\nabla }_{\theta }{v}_{\mu }\in {\mathbb{R}}^{mn}}{\underbrace{\left[\begin{array}{c}⋮\\ {\nabla }_{\theta }{v}_{\mu }(s)\\ ⋮\end{array}\right]}}=-1_n\otimes {\nabla }_{\theta }{\bar{r}}_{\mu }+(P_{\mu }\otimes I_m)\underset{{\nabla }_{\theta }{v}_{\mu }\in {\mathbb{R}}^{mn}}{\underbrace{\left[\begin{array}{c}⋮\\ {\nabla }_{\theta }{v}_{\mu }(s^{\prime })\\ ⋮\end{array}\right]}}+\underset{u\in {\mathbb{R}}^{mn}}{\underbrace{\left[\begin{array}{c}⋮\\ u(s)\\ ⋮\end{array}\right]}}$

• 其中 $n=|\mathcal{S}|$， $m$ 为 $\theta$ 的维度，
  $P_{\mu }$ 是状态转移矩阵， $[P_{\mu }{]}_{s{s}^{\prime }}=p(s^{\prime }|s,\mu (s))$

可简写为
  ~  
${\nabla }_{\theta }{v}_{\mu }=u-1_n\otimes {\nabla }_{\theta }{\bar{r}}_{\mu }+(P_{\mu }\otimes I_m){\nabla }_{\theta }{v}_{\mu }$
  ~  
移项
$1_n\otimes {\nabla }_{\theta }{\bar{r}}_{\mu }=u+(P_{\mu }\otimes I_m){\nabla }_{\theta }{v}_{\mu }-{\nabla }_{\theta }{v}_{\mu }(10.22)$
  ~  
由于 $d_{\mu }$ 是状态分布， 有 $d_{\mu }^T{P}_{\mu }=d_{\mu }^T$， $d_{\mu }^T{1}_n=1$
  ~  
式 (10.22) 两边同乘 $d_{\mu }^T\otimes I_m$
$\begin{array}{rl}{d}_{\mu }^T\otimes I_m\otimes 1_n\otimes {\nabla }_{\theta }{\bar{r}}_{\mu }& =d_{\mu }^T\otimes I_m\otimes u+d_{\mu }^T\otimes I_m\otimes (P_{\mu }\otimes I_m){\nabla }_{\theta }{v}_{\mu }-d_{\mu }^T\otimes I_m\otimes {\nabla }_{\theta }{v}_{\mu }\\ {\nabla }_{\theta }{\bar{r}}_{\mu }& =d_{\mu }^T\otimes I_{m}u+d_{\mu }^T\otimes I_m{\nabla }_{\theta }{v}_{\mu }-d_{\mu }^T\otimes I_m{\nabla }_{\theta }{v}_{\mu }\\ & =d_{\mu }^T\otimes I_{m}u\\ & =\sum _{s\in \mathcal{S}}{d}_{\mu }(s)u(s)\\ & =\sum _{s\in \mathcal{S}}{d}_{\mu }(s){\nabla }_{\theta }\mu (s)({\nabla }_a{q}_{\mu }(s,a)){|}_{a=\mu (s)}\\ & ={\mathbb{E}}_{S\sim d_{\mu }}[{\nabla }_{\theta }\mu (S)({\nabla }_a{q}_{\mu }(S,a)){|}_{a=\mu (S)}]\end{array}$

10.4.2 算法描述

最大化 $J(\theta )$ 的梯度上升算法

${\theta }_{t+1}={\theta }_t+{\alpha }_{\theta }{\mathbb{E}}_{S\sim \eta }[{\nabla }_{\theta }\mu (S)({\nabla }_a{q}_{\mu }(S,a)){|}_{a=\mu (S)}]$

相应的随机梯度算法为： ${\theta }_{t+1}={\theta }_t+{\alpha }_{\theta }{\nabla }_{\theta }\mu (s_t)({\nabla }_a{q}_{\mu }(s_t,a)){|}_{a=\mu (s_t)}$

必须特别注意为什么 critic 是异策略off-policy，但不需要重要性采样技术。
特别地，critic 需要的经验样本是 $(s_t,a_t,r_{t+1},s_{t+1},{\tilde{a}}_{t+1})$，其中 ${\tilde{a}}_{t+1}=\mu (s_{t+1})$。这个经验样本的生成涉及两个策略。第一个是用于在 $s_t$ 生成 $a_t$ 的策略 【行为策略，$a_t$ 用于和环境交互】，第二个是用于在 $s_{t+1}$ 生成 ${\tilde{a}}_{t+1}$ 的策略 【目标策略 $\mu$，是 critic 拟评估的策略】。
应该注意的是，${\tilde{a}}_{t+1}$ 不用于与下一个时间步中的环境进行交互。因此，$\mu$ 不是行为策略。因此，critic 是异策略off-policy。

如何选择函数 $q(s,a,w)$? ——> 神经网络
提出确定性策略梯度方法的原始研究工作[74]采用线性函数 $q(s,a,w)={\varphi }^T(s,a)w$，其中 $\varphi (s,a)$ 为特征向量。〔 DPG 〕
目前流行使用神经网络表示 $q(s,a,w)$，如深度确定性策略梯度(deep deterministic policy gradient, DDPG) 方法[75]。

如何选择行为策略 $\beta$?
它可以是任何探索性政策。它也可以是通过在 $\mu$ 中加入噪声得到的随机策略[75]。在这种情况下，$\mu$ 也是行为策略，因此这种方式是 同策略on-policy 的实现。

10.5 总结

最简单的 actor-critic 算法 QAC。该算法类似于上一章介绍的策略梯度算法——REINFORCE。唯一的区别是 QAC 中的 Q 值估计依赖于 TD 学习，而 REINFORCE 依赖于蒙特卡罗估计。

advantage actor-critic： 策略梯度对任何附加基线都是不变的。最优基线可以帮助减少估计方差。

off-policy异策略： importance sampling重要性采样

SAC、TRPO、PPO、TD3

10.6 Q & A

1、actor-critic 和 策略梯度方法之间的关系是什么?
actor-critic 方法实际上是策略梯度方法。
在任何策略梯度算法中，都需要估计动作价值。当使用带有价值函数近似的时序差分学习( temporal-difference learning) 来估计动作价值时，这种策略梯度算法被称为 actor - critic。
“actor-critic” 这个名字突出了它的算法结构，它结合了策略更新和价值更新的组件。这个结构也是所有强化学习算法中使用的基本结构。

QAC + 基线技巧 减小 近似方差 = advantage actor-critic

Q：为什么确定性策略梯度方法是 off-policy?
A： 确定性情况下的真梯度不涉及动作随机变量。
因此，当我们使用样本来近似真实梯度时，不需要对动作进行采样，因此可以使用任何策略。因此，确定性策略梯度方法是 off-policy。

〔 江湖 见 〕