《强化学习的数学原理》(2024春)_西湖大学赵世钰 Ch10 Actor-Critic 方法 » P1

• PDF 资料 整理 v3 链接
• 视频 链接
• 习题

actor-critic 方法仍然是策略梯度方法。强调结合策略梯度 和 基于价值的方法的结构。

actor：策略更新。 策略用于执行动作
critic： 策略评估 或 价值估计。

10.1 QAC

Q： 动作价值 $q_t$

上节课介绍的 策略梯度方法

1) 标量指标 $J(\theta )$： ${\bar{v}}_{\pi }$ 或 ${\bar{r}}_{\pi }$

2) 最大化 $J(\theta )$ 的梯度上升算法：

$\begin{array}{rl}{\theta }_{t+1}& ={\theta }_t+\alpha {\nabla }_{\theta }J({\theta }_t)\\ & ={\theta }_t+\alpha {\mathbb{E}}_{S\sim \eta ,A\sim \pi }[{\nabla }_{\theta }\ln \pi (A|S,{\theta }_t)q_{\pi }(S,A)]\end{array}$

3) 随机梯度上升算法

${\theta }_{t+1}={\theta }_t+\alpha {\nabla }_{\theta }\ln \pi (a_t|s_t,\theta )q_t(s_t,a_t)$

算法 ： actor
估计 $q_t(s_t,a_t)$ 的算法： critic

〔 critic：SARSA + 价值函数近似 〕

10.2 Advantage actor-critic (A2C)

引入一个基线来减小估计方差。

10.2.1 基线不变性

基线不变性是指，下式成立

${\mathbb{E}}_{S\sim \eta ,A\sim \pi }[{\nabla }_{\theta }\ln \pi (A|S,{\theta }_t)q_{\pi }(S,A)]={\mathbb{E}}_{S\sim \eta ,A\sim \pi }[{\nabla }_{\theta }\ln \pi (A|S,{\theta }_t)(q_{\pi }(S,A)-b(S)\left)\right](10.3)$

证明：

$\begin{array}{rl}{\mathbb{E}}_{S\sim \eta ,A\sim \pi }[{\nabla }_{\theta }\ln \pi (A|S,{\theta }_t)b(S)]& =\sum _{s\in \mathcal{S}}\eta (s)\sum _{a\in \mathcal{A}}\pi (a|s,{\theta }_t){\nabla }_{\theta }\ln \pi (a|s,{\theta }_t)b(s)\\ & =\sum _{s\in \mathcal{S}}\eta (s)\sum _{a\in \mathcal{A}}{\nabla }_{\theta }\pi (a|s,{\theta }_t)b(s)\\ & =\sum _{s\in \mathcal{S}}\eta (s)b(s)\sum _{a\in \mathcal{A}}{\nabla }_{\theta }\pi (a|s,{\theta }_t)\\ & =\sum _{s\in \mathcal{S}}\eta (s)b(s){\nabla }_{\theta }\sum _{a\in \mathcal{A}}\pi (a|s,{\theta }_t)\\ & =\sum _{s\in \mathcal{S}}\eta (s)b(s){\nabla }_{\theta }1\\ & =0\end{array}$

为什么 基线 有用？

当我们使用样本来近似真实梯度时，它可以减少近似方差。

令 $X(S,A)\doteq {\nabla }_{\theta }\ln \pi (A|S,{\theta }_t)[q_{\pi }(S,A)-b(S)](10.4)$

则真实梯度为 $\mathbb{E}[X(S,A)]$。
由于我们需要使用随机样本 $x$ 来近似 $\mathbb{E}[x]$，因此如果方差 $\text{var}(X)$ 很小，将是有利的。
例如，如果 $\text{var}(X)$ 接近于零，则任何样本 $x$ 都可以准确地近似 $\mathbb{E}[x]$。相反，如果 $\text{var}(X)$ 较大，则样本的值可能远离 $\mathbb{E}[x]$。

虽然 $\mathbb{E}[x]$ 对基线是不变的，但方差 $\text{var}(X)$ 却不是。
我们的目标是设计一个良好的基线来最小化 $\text{var}(X)$ 。

最小化 $\text{var}(X)$ 的最优基线为

$b^{\ast }(s)=\frac{{\mathbb{E}}_{A\sim \pi }[\Vert {\nabla }_{\theta }\ln \pi (A|s,{\theta }_t){\Vert }^2{q}_{\pi }(s,A)]}{{\mathbb{E}}_{A\sim \pi }[\Vert {\nabla }_{\theta }\ln \pi (A|s,{\theta }_t){\Vert }^2]},s\in \mathcal{S}(10.5)$

Box 10.1. 证明 式 (10.5)

虽然 (10.5) 中的基线是最优的，但它太复杂，在实践中没有用处。
如果从 (10.5) 中去掉权重 $\Vert {\nabla }_{\theta }\ln \pi (A|s,{\theta }_t){\Vert }^2$，我们可以得到一个次优基线，它有一个简洁的表达式:

$b^{†}(s)={\mathbb{E}}_{A\sim \pi }[q_{\pi }(s,A)]=v_{\pi }(s),s\in \mathcal{S}$

$\dagger$$†$

这个次优基线 是 状态价值 ！！！

Box 10.1. 最优基线证明

令 $\bar{x}\doteq \mathbb{E}[X]$， 其对任意 $b(s)$ 均不变。
如果 $X$ 是一个向量，它的方差为一个矩阵。
选择 $\text{var}(X)$ 的迹 作为 标量目标函数 用于优化。
  ~  
$\begin{array}{rl}\text{tr}[\text{var}(X)]& =\text{tr}[\mathbb{E}[(X-\bar{x})(X-\bar{x}{)}^T]]\\ & =\text{tr}[\mathbb{E}[X{X}^T-\bar{x}{X}^T-X{\bar{x}}^T+\bar{x}{\bar{x}}^T]]\text{tr}(AB)=\text{tr}(BA)???交换矩阵位置得到下式，为啥求迹能丢掉\\ & =\mathbb{E}[X^{T}X-X^T\bar{x}-{\bar{x}}^{T}X+{\bar{x}}^T\bar{x}]\\ & =\mathbb{E}[X^{T}X]-{\bar{x}}^T\bar{x}(10.6)\end{array}$

• 由于 $\bar{x}$ 是不变的， 式 (10.6) 表明，我们只需最小化 $\mathbb{E}[X^{T}X]$

则
$\begin{array}{rl}\mathbb{E}[X^{T}X]& =\mathbb{E}[({\nabla }_{\theta }\ln \pi {)}^T({\nabla }_{\theta }\ln \pi )(q_{\pi }(S,A)-b(S){)}^2]\\ & =\mathbb{E}[\Vert {\nabla }_{\theta }\ln \pi {\Vert }^2(q_{\pi }(S,A)-b(S){)}^2]\\ & =\sum _{s\in \mathcal{S}}\eta (s){\mathbb{E}}_{A\sim \pi }[\Vert {\nabla }_{\theta }\ln \pi {\Vert }^2(q_{\pi }(S,A)-b(S){)}^2]b(S)影响方差\end{array}$
  ~  
为确保 对任意 $s\in \mathcal{S}$， 均有 ${\nabla }_b\mathbb{E}[X^{T}X]=0$， $b(s)$ 应满足
  ~  
${\mathbb{E}}_{A\sim \pi }[\Vert {\nabla }_{\theta }\ln \pi {\Vert }^2(q_{\pi }(S,A)-b(S))]=0,s\in \mathcal{S}$
  ~  
求解上式得 $b^{\ast }(s)=\frac{{\mathbb{E}}_{A\sim \pi }[\Vert {\nabla }_{\theta }\ln \pi (A|s,{\theta }_t){\Vert }^2{q}_{\pi }(s,A)]}{{\mathbb{E}}_{A\sim \pi }[\Vert {\nabla }_{\theta }\ln \pi (A|s,{\theta }_t){\Vert }^2]},s\in \mathcal{S}$

10.2.2 算法描述

当 $b(s)=v_{\pi }(s)$，有

$\begin{array}{rl}{\theta }_{t+1}& ={\theta }_t+\alpha \mathbb{E}[{\nabla }_{\theta }\ln \pi (A|S,{\theta }_t)[q_{\pi }(S,A)-v_{\pi }(S)]]\\ & ={\theta }_t+\alpha \mathbb{E}[{\nabla }_{\theta }\ln \pi (A|S,{\theta }_t){\Delta }_{\pi }(S,A)]\end{array}$

其中 ${\Delta }_{\pi }(S,A)=q_{\pi }(S,A)-v_{\pi }(S)$ 称为优势函数，反映一个动作相对于其它动作的优势。

• 〔 文献中优势函数一般表示为 $\hat{A}$ 〕

状态价值 $v_{\pi }(s)=\sum _{a\in \mathcal{A}}\pi (a|s)q_{\pi }(s,a)$ 是动作价值的均值。

如果 ${\Delta }_{\pi }(S,A)>0$ ， 则表示相应动作具有比平均价值更大的价值。

式 (10.7) 的随机版本为
$\begin{array}{rl}{\theta }_{t+1}& ={\theta }_t+\alpha {\nabla }_{\theta }\ln \pi (a_t|s_t,{\theta }_t)[q_t(s_t,a_t)-v_t(s_t)]\\ & ={\theta }_t+\alpha {\nabla }_{\theta }\ln \pi (a_t|s_t,{\theta }_t){\Delta }_t(s_t,a_t)(10.8)\end{array}$

其中 $s_t,a_t$ 是 $S,A$ 在 $t$ 时刻的样本。
这里，$q_t(s_t,a_t)$ 和 $v_t(s_t)$ 分别是 $q_{\pi ({\theta }_t)}(s_t,a_t)$ 和 $v_{\pi ({\theta }_t)}(s_t)$ 的近似值。
(10.8) 中的算法基于 $q_t$ 关于 $v_t$ 的相对值而不是 $q_t$ 的绝对值来更新策略，这在直观上是合理的，因为当我们试图在某个状态下选择一个动作时，我们只关心哪个动作相对于其他动作的价值最大。

如果 $q_t(s_t,a_t)$ 和 $v_t(s_t)$ 是通过蒙特卡罗学习估计的，则 (10.8) 中的算法称为带基线的 REINFORCE。
如果 $q_t(s_t,a_t)$ 和 $v_t(s_t)$ 是通过 TD 学习来估计的，则该算法通常被称为优势 行为者-评论员 算法 (A2C)。
算法 10.2 对 A2C 的实现进行了总结。需要注意的是，本实现中的优势函数近似为 TD 误差:

$q_t(s_t,a_t)-v_t(s_t)\approx r_{t+1}+\gamma v_t(s_{t+1})-v_t(s_t)$

$q_{\pi }(s_t,a_t)-v_{\pi }(s_t)=\mathbb{E}[R_{t+1}+\gamma v_{\pi }(S_{t+1})-v_{\pi }(S_t)|S_t=s_t,A_t=a_t]$

根据 $q_{\pi }(s_t,a_t)$ 的定义，它是成立的。
使用 TD 误差的一个优点是我们只需要使用一个神经网络来表示 $v_{\pi }(s)$。
否则，如果 ${\Delta }_t=q_t(s_t,a_t)-v_t(s_t)$，我们需要维护两个网络分别表示 $v_{\pi }(s)$ 和 $q_{\pi }(s,a)$。
当我们使用 TD 误差时，该算法也可以称为 TD actor-critic。
此外，值得注意的是，策略 $\pi ({\theta }_t)$ 是随机的，因此是探索性的。
因此，它可以直接用于生成经验样本，而不依赖于 $ϵ$-greedy 等技术。

on-policy

探索与利用 折衷

$\begin{array}{rl}{\theta }_{t+1}& ={\theta }_t+\alpha {\nabla }_{\theta }\ln \pi (a_t|s_t,{\theta }_t){\Delta }_t(s_t,a_t)\\ & ={\theta }_t+\alpha \frac{{\nabla }_{\theta }\pi (a_t|s_t,{\theta }_t)}{\pi (a_t|s_t,{\theta }_t)}{\Delta }_t(s_t,a_t)\\ & ={\theta }_t+\alpha \frac{{\Delta }_t(s_t,a_t)}{\pi (a_t|s_t,{\theta }_t)}{\nabla }_{\theta }\pi (a_t|s_t,{\theta }_t)\end{array}$

步长 与 相对价值 ${\Delta }_t$ 而不是 绝对值 $q_t$ 成正比，更合理。

更好地平衡探索和利用。

10.3 异策略 Off-policy actor-critic

通过跟踪 策略 $\pi (\theta )$ 生成动作样本，行为策略 和 拟改进的策略是同一个 〔 都是 $\pi$ 〕。 on-policy

〔 ${\nabla }_{\theta }J(\theta )={\mathbb{E}}_{S\sim \eta ,A\sim \pi }[\cdot ]$ 〕

重要性采样importance sampling：使用从另一个概率分布中抽取的一些样本来估计 在一个概率分布中定义的期望值 的一般技术。

10.3.1 Importance sampling 重要性采样 【on-policy ——> off-policy】

考虑一个随机变量 $X\in \mathcal{X}$， 假设 $p_0(X)$ 是一个概率分布。 我们的目标是 估计 ${\mathbb{E}}_{X\sim p_0}[X]$，假设我们有一些 i.i.d 【独立同分布】 样本 { x i } i = 1 n \{x_i\}_{i=1}^n {xi​}i=1n​

首先，如果遵循 $p_0$ 生成样本 { x i } i = 1 n \{x_i\}_{i=1}^n {xi​}i=1n​，则平均值 $\bar{x}=\frac{1}{n}\sum _{i=1}^n{x}_i$ 可以用来近似 ${\mathbb{E}}_{X\sim p_0}[X]$，因为 $\bar{x}$ 是 ${\mathbb{E}}_{X\sim p_0}[X]$ 的无偏估计，并且估计方差在 $n\to \infty$ 时收敛于零。

其次，考虑一个新场景，其中样本 { x i } i = 1 n \{x_i\}_{i=1}^n {xi​}i=1n​ 不是由 $p_0$ 生成的。
相反，它们是由另一个分布 $p_1$ 生成的。我们还能用这些样本来近似 ${\mathbb{E}}_{X\sim p_0}[X]$ 吗?

〔 $p_0$：目标策略 $\pi$
$p_1$：行为策略 $\beta$ 〕

答案是肯定的。然而，我们不能再用 $\bar{x}=\frac{1}{n}\sum _{i=1}^n{x}_i$ 近似 ${\mathbb{E}}_{X\sim p_0}[X]$，因为 $\bar{x}\approx {\mathbb{E}}_{X\sim p_1}[X]$ 而不是 ${\mathbb{E}}_{X\sim p_0}[X]$

${\mathbb{E}}_{X\sim p_0}[X]=\sum _{x\in \mathcal{X}}{p}_0(x)x=\sum _{x\in \mathcal{X}}{p}_1(x)\frac{p_0(x)}{p_1(x)}x={\mathbb{E}}_{X\sim p_1}[f(X)](10.9)$

${\mathbb{E}}_{X\sim p_0}[X]$ ——> ${\mathbb{E}}_{X\sim p_1}[f(X)]$

令 $\bar{f}\doteq \frac{1}{n}\sum _{i=1}^{n}f(x_i)$

${\mathbb{E}}_{X\sim p_0}[X]={\mathbb{E}}_{X\sim p_1}[f(X)]\approx \bar{f}=\frac{1}{n}\sum _{i=1}^{n}f(x_i)=\frac{1}{n}\sum _{i=1}^n\frac{p_0(x_i)}{p_1(x_i)}{x}_i(10.10)$

${\mathbb{E}}_{X\sim p_0}[X]$ 可以通过 $x_i$ 的加权均值进行近似

重要性权重 $\frac{p_0(x_i)}{p_1(x_i)}$

• 当 $p_1=p_0$，重要性权重为 1， $\bar{f}=\bar{x}$
• 当 $p_0(x_i)\ge p_1(x_i)$， $x_i$ 在 $p_0$ 出现的概率比在 $p_1$ 中出现的概率大，为了获得准确的均值估计，令 $\frac{p_0(x_i)}{p_1(x_i)}>1$ 可将权重拉回来。

10.3.2 异策略off-policy 策略梯度定理

假设 $\beta$ 是一个行为策略。
我们的目标是使用由 $\beta$ 生成的样本来学习可以最大化以下指标的目标策略 $\pi$ :

$J(\theta )=\sum _{s\in \mathcal{S}}{d}_{\beta }(s)v_{\pi }(s)={\mathbb{E}}_{S\sim d_{\beta }}[v_{\pi }(S)]$

其中 $d_{\beta }$ 是遵循 $\beta$ 的状态分布。
$v_{\pi }$ 是策略 $\pi$ 下的状态价值。

Theorem 10.1 (Off-policy policy gradient theorem).

对于 折扣因子 $\gamma \in (0,1)$ 的折扣情形

${\nabla }_{\theta }J(\theta )={\mathbb{E}}_{S\sim \rho ,A\sim \beta }[\frac{\pi (A|S,\theta )}{\beta (A|S)}{\nabla }_{\theta }\ln \pi (A|S,\theta )q_{\pi }(S,A)](10.11)$

其中 状态分布 $\rho$： $\rho (s)\doteq \sum _{s^{\prime }\sin \mathcal{S}}{d}_{\beta }(s^{\prime }){\text{Pr}}_{\pi }(s|s^{\prime }),s\in \mathcal{S}$

其中 ${\text{Pr}}_{\pi }(s|s^{\prime })=\sum _{k=0}^{\infty }{\gamma }^k[P_{\pi }^k{]}_{s^{\prime }s}=[(I-\gamma P_{\pi }{)}^{-1}{]}_{s^{\prime }s}$ 在策略 $\pi$ 下从 $s^{\prime }$ 转移到 $s$ 的折扣总概率。

Box 10.2: Proof of Theorem 10.1

由于 $d_{\beta }$ 与 $\theta$ 无关， $J(\theta )$ 的梯度满足
  ~  
${\nabla }_{\theta }J(\theta )={\nabla }_{\theta }\sum _{s\in \mathcal{S}}{d}_{\beta }(s)v_{\pi }(s)=\sum _{s\in \mathcal{S}}{d}_{\beta }(s){\nabla }_{\theta }{v}_{\pi }(s)(10.12)$

${\nabla }_{\theta }{v}_{\pi }(s)=\sum _{s^{\prime }\in \mathcal{S}}{\text{Pr}}_{\pi }(s^{\prime }|s)\sum _{a\in \mathcal{A}}{\nabla }_{\theta }\pi (a|s^{\prime },\theta )q_{\pi }(s^{\prime },a)(10.13)$

• 其中 $\text{Pr}(s^{\prime }|s)\doteq \sum _{k=0}^{\infty }{\gamma }^k[P_{\pi }^k{]}_{s{s}^{\prime }}=[(I_n-\gamma P_{\pi }{)}^{-1}{]}_{s{s}^{\prime }}$
    ~  
  将 式 (10.13) 代入 (10.12)
    ~  
  $\begin{array}{rl}{\nabla }_{\theta }J(\theta )=\sum _{s\in \mathcal{S}}{d}_{\beta }(s){\nabla }_{\theta }{v}_{\pi }(s)& =\sum _{s\in \mathcal{S}}{d}_{\beta }(s)\sum _{s^{\prime }\in \mathcal{S}}{\text{Pr}}_{\pi }(s^{\prime }|s)\sum _{a\in \mathcal{A}}{\nabla }_{\theta }\pi (a|s^{\prime },\theta )q_{\pi }(s^{\prime },a)\\ & =\sum _{s^{\prime }\in \mathcal{S}}(\sum _{s\in \mathcal{S}}{d}_{\beta }(s){\text{Pr}}_{\pi }(s^{\prime }|s))\sum _{a\in \mathcal{A}}{\nabla }_{\theta }\pi (a|s^{\prime },\theta )q_{\pi }(s^{\prime },a)\\ & =\sum _{s^{\prime }\in \mathcal{S}}\rho (s^{\prime })\sum _{a\in \mathcal{A}}{\nabla }_{\theta }\pi (a|s^{\prime },\theta )q_{\pi }(s^{\prime },a)\\ & =\sum _{s\in \mathcal{S}}\rho (s)\sum _{a\in \mathcal{A}}{\nabla }_{\theta }\pi (a|s,\theta )q_{\pi }(s,a)将s^{\prime }改成s\\ & ={\mathbb{E}}_{S\sim \rho }[\sum _{a\in \mathcal{A}}{\nabla }_{\theta }\pi (a|S,\theta )q_{\pi }(S,a)]\\ & ={\mathbb{E}}_{S\sim \rho }[\sum _{a\in \mathcal{A}}\beta (a|S)\frac{\pi (a|S,\theta )}{\beta (a|S)}\frac{{\nabla }_{\theta }\pi (a|S,\theta )}{\pi (a|S,\theta )}{q}_{\pi }(S,a)]重要性采样\\ & ={\mathbb{E}}_{S\sim \rho }[\sum _{a\in \mathcal{A}}\beta (a|S)\frac{\pi (a|S,\theta )}{\beta (a|S)}{\nabla }_{\theta }\ln \pi (a|S,\theta )q_{\pi }(S,a)]\\ & ={\mathbb{E}}_{S\sim \rho ,A\sim \beta }[\frac{\pi (A|S,\theta )}{\beta (A|S)}{\nabla }_{\theta }\ln \pi (A|S,\theta )q_{\pi }(S,A)]\end{array}$
• 类似 定理 9.1

10.3.3 算法描述

${\theta }_{t+1}={\theta }_t+{\alpha }_t\frac{\pi (a_t,s_t,\theta )}{\beta (a_t|s_t)}{\nabla }_{\theta }\ln \pi (a_t|s_t,\theta ){\Delta }_t(s_t,a_t)$

〔 仅利用，无探索 〕
$对上式进行变形：{\theta }_{t+1}={\theta }_t+{\alpha }_t\frac{{\Delta }_t(s_t,a_t)}{\beta (a_t|s_t)}{\nabla }_{\theta }\pi (a_t|s_t,\theta )$

• 当 ${\Delta }_t$ 比较大，说明这个动作比其他动作的价值大，下一时刻将增大 相应的权重。
  利用
• 由于 分母 $\beta (a|s)$ 保持不变，所以不存在探索。

——————————————

10.4 确定性 actor-critic 【连续动作空间】

〔 一个状态，无限个 动作 ——> 考虑用 确定性策略〕

“确定性”表示，对于任何状态，单个动作的概率为 1，而所有其他动作的概率为 0。研究确定性情况是很重要的，因为它是自然的异策略off-policy，可以有效地处理连续的动作空间。

我们一直使用 $\pi (a|s,\theta )$ 来表示一般策略，它可以是随机的，也可以是确定的。
在本节中，我们使用 $a=\mu (s,\theta )$ 明确地表示确定性策略。
不同于 $\pi$ 给出动作的概率的， $\mu$ 直接给出了动作，因为它是从 $\mathcal{S}$ 到 $\mathcal{A}$ 的映射。
这种确定性策略可以用，例如，一个神经网络，以 $s$ 为输入，$a$ 为输出，$\theta$ 为参数来表示。
为了简单起见，我们通常把 $\mu (s,\theta )$ 写成 $\mu (s)$。

10.4.1 确定性策略梯度定理

Theorem 10.2 (Deterministic policy gradient theorem).
  ~  
$\begin{array}{rl}{\nabla }_{\theta }J(\theta )& =\sum _{s\in \mathcal{S}}\eta (s){\nabla }_{\theta }\mu (s)({\nabla }_a{q}_{\mu }(s,a)){|}_{a=\mu (s)}\\ & ={\mathbb{E}}_{S\sim \eta }[{\nabla }_{\theta }\mu (s)({\nabla }_a{q}_{\mu }(s,a)){|}_{a=\mu (s)}](10.14)\end{array}$

• 其中 $\eta$ 是状态分布

与随机情况不同，式 (10.14) 所示的确定性情况中的梯度不涉及动作随机变量 $a$。因此，当我们使用样本来近似真实梯度时，不需要对动作进行采样。因此，确定性策略梯度方法是 off-policy。

指标 1： 平均价值

$J(\theta )=\mathbb{E}[v_{\mu }(s)]=\sum _{s\in \mathcal{S}}{d}_0(s)v_{\mu }(s)(10.15)$

其中 $d_0$ 是状态的概率分布。这里，为了简单起见，选择 $d_0$ 独立于 $\mu$。
选择 $d_0$ 有两种特殊但重要的情况。

• 第一种情况是 $d_0(s_0)=1$ 且 $d_0(s\ne s_0)=0$，其中 $s_0$ 是感兴趣的特定状态。
  在这种情况下，该策略的目标是使从 $s_0$ 开始时所能获得的折扣回报最大化。〔 $J(\theta )=v_{\mu }(s_0)$ 〕
• 第二种情况是，$d_0$ 是与目标策略 〔 $\mu$ 〕不同的给定行为策略 〔 $\beta$ 〕的分布。

Lemma 10.1 (Gradient of $v_{\mu }(s)$)

在折扣情形下， 对任意 $s\in \mathcal{S}$，有
  ~  
${\nabla }_{\theta }{v}_{\mu }(s)=\sum _{s^{\prime }\in \mathcal{S}}{\text{Pr}}_{\mu }(s^{\prime }|s){\nabla }_{\theta }\mu (s^{\prime })({\nabla }_a{q}_{\mu }(s^{\prime },a)){|}_{a=\mu (s^{\prime })}(10.16)$

• 其中 ${\text{Pr}}_{\mu }(s^{\prime }|s)\doteq \sum _{k=0}^{\infty }{\gamma }^k[P_{\mu }^k{]}_{s{s}^{\prime }}=[(I-\gamma P_{\mu }{)}^{-1}{]}_{s{s}^{\prime }}$ 为策略 $\mu$ 下从 $s$ 过渡到 $s^{\prime }$ 的折扣总概率。
  其中，$[\cdot {]}_{s{s}^{\prime }}$ 表示矩阵第 $s$ 行第 $s^{\prime }$ 列的条目。

Box 10.3： 证明 Lemma 10.1

由于策略是确定性的， 有 $v_{\mu }(s)=q_{\mu }(s,\mu (s))$
$q_{\mu }$ 和 $\mu$ 都是 $\theta$ 的函数
  ~  
${\nabla }_{\theta }{v}_{\mu }(s)={\nabla }_{\theta }{q}_{\mu }(s,\mu (s))=({\nabla }_{\theta }{q}_{\mu }(s,a)){|}_{a=\mu (s)}+{\nabla }_{\theta }\mu (s)({\nabla }_a{q}_{\mu }(s,a)){|}_{a=\mu (s)}(10.17)$
  ~  
$(s,a)$ 的动作价值为 $q_{\mu }(s,a)=r(s,a)+\gamma \sum _{s^{\prime }\in \mathcal{S}}p(s^{\prime }|s,a)v_{\mu }(s^{\prime })$

• 其中 $r(s,a)=\sum _{r}rp(r|s,a)$

因为 $r(s,a)$ 和 $\mu$ 无关
  ~  
${\nabla }_{\theta }{q}_{\mu }(s,a)=0+\gamma \sum _{s^{\prime }\in \mathcal{S}}p(s^{\prime }|s,a){\nabla }_{\theta }{v}_{\mu }(s^{\prime })$
  ~  
将 上式代入 式 (10.17)
  ~  
${\nabla }_{\theta }{v}_{\mu }(s)=\gamma \underset{P_{\mu }\otimes I_m}{\underbrace{\sum _{s^{\prime }\in \mathcal{S}}p(s^{\prime }|s,\mu (s))}}{\nabla }_{\theta }{v}_{\mu }(s^{\prime })+\underset{u(s)}{\underbrace{{\nabla }_{\theta }\mu (s)({\nabla }_a{q}_{\mu }(s,a)){|}_{a=\mu (s)}}}s\in \mathcal{S}$
  ~  
矩阵-向量形式：
  ~  
$\underset{{\nabla }_{\theta }{v}_{\mu }\in {\mathbb{R}}^{mn}}{\underbrace{\left[\begin{array}{c}⋮\\ {\nabla }_{\theta }{v}_{\mu }(s)\\ ⋮\end{array}\right]}}=\underset{u\in {\mathbb{R}}^{mn}}{\underbrace{\left[\begin{array}{c}⋮\\ u(s)\\ ⋮\end{array}\right]}}+\gamma (P_{\mu }\otimes I_m)\underset{{\nabla }_{\theta }{v}_{\mu }\in {\mathbb{R}}^{mn}}{\underbrace{\left[\begin{array}{c}⋮\\ {\nabla }_{\theta }{v}_{\mu }(s^{\prime })\\ ⋮\end{array}\right]}}$

• 其中 $n=|\mathcal{S}|$， $m$ 为 $\theta$ 的维度
• $P_{\mu }$ 是状态转移矩阵， $[P_{\mu }{]}_{s{s}^{\prime }}=p(s^{\prime }|s,\mu (s))$

上述矩阵-向量形式可简写为
  ~  
${\nabla }_{\theta }{v}_{\mu }=u+\gamma (P_{\mu }\otimes I_m){\nabla }_{\theta }{v}_{\mu }$ 一个关于 $s$, 一个关于 $s^{\prime }$，这样合并是否合理呢 ?
  ~  
$(I_{mn}-\gamma P_{\mu }\otimes I_m){\nabla }_{\theta }{v}_{\mu }=u$
  ~  
$\begin{array}{rl}{\nabla }_{\theta }{v}_{\mu }& =(I_{mn}-\gamma P_{\mu }\otimes I_m{)}^{-1}u\\ & =(I_n\otimes I_m-\gamma P_{\mu }\otimes I_m{)}^{-1}u\\ & =[(I_n-\gamma P_{\mu }{)}^{-1}\otimes I_m]u(10.18)\end{array}$
  ~  
改回元素级形式
  ~  
$\begin{array}{rl}{\nabla }_{\theta }{v}_{\mu }(s)& =\sum _{s^{\prime }\in \mathcal{S}}[(I-\gamma P_{\mu }{)}^{-1}{]}_{s{s}^{\prime }}\mu (s^{\prime })\\ & =\sum _{s^{\prime }\in \mathcal{S}}[(I-\gamma P_{\mu }{)}^{-1}{]}_{s{s}^{\prime }}[{\nabla }_{\theta }\mu (s^{\prime })({\nabla }_a{q}_{\mu }(s^{\prime },a)){|}_{a=\mu (s^{\prime })}](10.19)\end{array}$

$[(I-\gamma P_{\mu }{)}^{-1}{]}_{s{s}^{\prime }}$ 具有明确的概率解释。

因为 $(I-\gamma P_{\mu }{)}^{-1}=I+\gamma P_{\mu }+{\gamma }^2{P}_{\mu }^2+\cdots$

$[(I-\gamma P_{\mu }{)}^{-1}{]}_{s{s}^{\prime }}=[I{]}_{s{s}^{\prime }}+\gamma [P_{\mu }{]}_{s{s}^{\prime }}+{\gamma }^2[P_{\mu }^2{]}_{s{s}^{\prime }}+\cdots =\sum _{k=1}^{\infty }{\gamma }^k[P_{\mu }^k{]}_{s{s}^{\prime }}$

注意，$[P_{\mu }^k{]}_{s{s}^{\prime }}$ 是恰好经过 $k$ 个时间步从 $s$ 过渡到 $s^{\prime }$ 的概率。因此，$[(I-\gamma P_{\mu }{)}^{-1}{]}_{s{s}^{\prime }}$，是使用任意时间步数从 $s$ 过渡到 $s^{\prime }$ 的折扣总概率。
通过令 $[(I-\gamma P_{\mu }{)}^{-1}{]}_{s{s}^{\prime }}\doteq {\text{Pr}}_{\mu }(s^{\prime }|s)$，式 (10.19) 可得式 (10.16)。

Theorem 10.3 折扣情形下的 确定性策略梯度原理

折扣因子 $\gamma \in (0,1)$ 的折扣情形

$\begin{array}{rl}{\nabla }_{\theta }J(\theta )& =\sum _{s\in \mathcal{S}}{\rho }_{\mu }(s){\nabla }_{\theta }\mu (s)({\nabla }_a{q}_{\mu }(s,a)){|}_{a=\mu (s)}\\ & ={\mathbb{E}}_{S\sim {\rho }_{\mu }}[{\nabla }_{\theta }\mu (S)({\nabla }_a{q}_{\mu }(S,a)){|}_{a=\mu (S)}]\end{array}$

• 其中 状态分布 ${\rho }_{\mu }=\sum _{s^{\prime }\in \mathcal{S}}{d}_0(s^{\prime }){\text{Pr}}_{\mu }(s|s^{\prime })s\in \mathcal{S}$
  ${\text{Pr}}_{\mu }(s|s^{\prime })=\sum _{k=0}^{\infty }{\gamma }^k[(I-\gamma P_{\mu }{)}^{-1}{]}_{s^{\prime }s}$ 是策略 $\mu$ 下从 $s^{\prime }$ 转移到 $s$ 的折扣总概率。

〔 注意这里没有 $A$，对于 获得 动作 $a$ 的策略无要求，一般为 off-policy 〕

Box 10.4： 证明 Theorem 10.3

由于 $d_0$ 与 策略 $\mu$ 无关
  ~  
${\nabla }_{\theta }J(\theta )=\sum _{s\in \mathcal{S}}{d}_0(s){\nabla }_{\theta }{v}_{\mu }(s)$
  ~  
将 引理 10.1 中的 ${\nabla }_{\theta }{v}_{\mu }(s)$ 代入上述方程

$\begin{array}{rl}{\nabla }_{\theta }J(\theta )& =\sum _{s\in \mathcal{S}}{d}_0(s){\nabla }_{\theta }{v}_{\mu }(s)\\ & =\sum _{s\in \mathcal{S}}{d}_0(s)\sum _{s^{\prime }\in \mathcal{S}}{\text{Pr}}_{\mu }(s^{\prime }|s){\nabla }_{\theta }\mu (s^{\prime })({\nabla }_a{q}_{\mu }(s^{\prime },a)){|}_{a=\mu (s^{\prime })}\\ & =\sum _{s^{\prime }\in \mathcal{S}}(\sum _{s\in \mathcal{S}}{d}_0(s){\text{Pr}}_{\mu }(s^{\prime }|s)){\nabla }_{\theta }\mu (s^{\prime })({\nabla }_a{q}_{\mu }(s^{\prime },a)){|}_{a=\mu (s^{\prime })}\\ & =\sum _{s^{\prime }\in \mathcal{S}}{\rho }_{\mu }(s^{\prime }){\nabla }_{\theta }\mu (s^{\prime })({\nabla }_a{q}_{\mu }(s^{\prime },a)){|}_{a=\mu (s^{\prime })}\\ & =\sum _{s\in \mathcal{S}}{\rho }_{\mu }(s){\nabla }_{\theta }\mu (s)({\nabla }_a{q}_{\mu }(s,a)){|}_{a=\mu (s)}将s^{\prime }换成s\\ & ={\mathbb{E}}_{S\sim {\rho }_{\mu }}[{\nabla }_{\theta }\mu (S)({\nabla }_a{q}_{\mu }(S,a)){|}_{a=\mu (S)}]\end{array}$

《强化学习的数学原理》(2024春)_西湖大学赵世钰 Ch10 Actor-Critic 方法 » P2