《强化学习的数学原理》(2024春)_西湖大学赵世钰 Ch9 策略梯度方法 -9.3.1

之前看了 2 次视频，公式有点多， 还是没整理出来。
这个版本是以下步骤后的版本

• 基本把相关的核心论文过了一遍，代码整理了部分
• PDF 资料 整理 v3 链接
• 视频 链接
• 习题 策略梯度方法需要估计值

函数近似： 状态/动作 价值、策略

参数化的策略： $\pi (a|s,\theta )$，其中 $\theta \in {\mathbb{R}}^m$ 是一个参数向量

其它形式： ${\pi }_{\theta }(s,a)$， $\pi (a,s,\theta )$

策略梯度法的优点：它在处理大的状态/动作空间时更有效。它具有更强的泛化能力，因此在样本使用方面更有效。

9.1 策略表示： 表格 ——> 函数

表示形式	表格	函数
如何定义最优策略？	如果策略可以最大化每个状态的价值，则将其定义为最优策略。	如果策略可以最大化某些标量指标，则将其定义为最优策略。
如何更新策略？	直接更改表中的条目	改变参数 $\theta$
如何检索一个动作的概率?	查找表中的相应条目	在函数中输入 $(s,a)$ 来计算其概率(见图 9.2(a))。 根据函数的结构，我们还可以输入一个状态，然后输出所有动作的概率(见图 9.2(b))。[见 下图]

假设 $J(\theta )$ 是一个标量度量

${\theta }_{t+1}={\theta }_t+\alpha {\nabla }_{\theta }J({\theta }_t)$

${\nabla }_{\theta }J$： $J$ 关于 $\theta$ 的梯度
$t$： 时间步
$\alpha$： 优化学习率

接下来回答 3 个问题：

• 应该使用什么指标? (9.2 节)
• 如何计算指标的梯度? (9.3 节)
• 如何使用经验样本计算梯度? (9.4 节)

9.2 定义最优策略 的指标

基于状态价值
基于即时奖励

指标 1： 状态价值 的加权平均

${\bar{v}}_{\pi }=\sum _{s\in \mathcal{S}}d(s)v_{\pi }(s)$

其中 $d(s)$ 为状态 $s$ 的权值。

• 满足 对任意 $s\in \mathcal{S}$， 均有 $d(s)\ge 0$，且 ${\sum }_{s\in \mathcal{S}}d(s)=1$
• $d(s)$： $s$ 的概率分布， 状态 $s$ 被选中的概率。

${\bar{v}}_{\pi }={\mathbb{E}}_{S\in d}[v_{\pi }(S)]$

如何选择 $d(s)$ ?

情形 1： $d$ 与 策略 $\pi$ 无关。

• 认为所有状态同等重要： $d_0(s)=\frac{1}{|\mathcal{S}|}$
• 只对特定的某个状态 $s_0$ 感兴趣。 (极端情况： 代理总是 从 状态 $s_0$ 开始)。 $d_0(s_0)=1,d_0(s\ne s_0)=0$
  〔 ${\bar{v}}_{\pi }=v_{\pi }(s_0)$ 〕

情形 2： $d$ 依赖于 策略 $\pi$
$d_{\pi }$： 策略 $\pi$ 下的平稳分布

$d_{\pi }^T{P}_{\pi }=d_{\pi }^T$

其中 $P_{\pi }$ 是状态转移概率矩阵

〔 主要是计算关于 $\theta$ 的梯度时有区别。〕

Box 8.1： 关于 平稳分布

已整理的文档 链接

平稳分布 反映了马尔可夫过程在给定策略下的长期行为。

• 如果一个状态长期被频繁访问，那么它就更重要，应该得到更高的权重;
• 如果一个状态很少被访问，那么它的重要性很低，应该得到较低的权重。

${\bar{v}}_{\pi }$： 状态价值的权重平均

${\bar{v}}_{\pi }$ 在文献中的另两种形式
————————
形式一： $J(\theta )=\mathbb{E}\left[\sum _{t=0}^{\infty }{\gamma }^t{R}_{t+1}\right]$
  ~  
$\begin{array}{rl}\mathbb{E}\left[\sum _{t=0}^{\infty }{\gamma }^t{R}_{t+1}\right]& =\sum _{s\in \mathcal{S}}d(s)\mathbb{E}\left[\sum _{t=0}^{\infty }{\gamma }^t{R}_{t+1}\right|S_0=s]\\ & =\sum _{s\in \mathcal{S}}d(s)v_{\pi }(s)\\ & ={\bar{v}}_{\pi }\end{array}$
  ~  

————————
形式二：两个向量的内积
$v_{\pi }=[\cdots ,v_{\pi }(s),\cdots {]}^T\in {\mathbb{R}}^{|\mathcal{S}|}$
$d=[\cdots ,d(s),\cdots {]}^T\in {\mathbb{R}}^{|\mathcal{S}|}$
  ~  
${\bar{v}}_{\pi }=d^T{v}_{\pi }$

指标 2： 平均一步奖励

平均 one-step 奖励

$\begin{array}{rl}{\bar{r}}_{\pi }& \doteq \sum _{s\in \mathcal{S}}{d}_{\pi }(s)r_{\pi }(s)\\ & ={\mathbb{E}}_{S\sim d_{\pi }}[r_{\pi }(S)]\end{array}$

• 其中 $d_{\pi }$ 为平稳分布

$r_{\pi }(s)\doteq \sum _{a\in \mathcal{A}}\pi (a|s,\theta )r(s,a)={\mathbb{E}}_{A\sim \pi (s,\theta )}[r(s,A)|s]$ 即时奖励的期望

后面的 $A$ 和 前面的 $a$ 的区别是？ ——> $a$ 来自状态 $s$ 的可选动作集合 $\mathcal{A}$， $A$ 抽样自 $\pi (s,\theta )$
——> 这样转换的目的是？ ——> 计算

$r(s,a)\doteq \mathbb{E}[R|s,a]={\sum }_{r}rp(r|s,a)$

${\bar{r}}_{\pi }$ 在文献中的另两种形式
————————
形式一： $J(\theta )=\underset{n\to \infty }{\lim }\frac{1}{n}\mathbb{E}\left[\sum _{t=0}^{n-1}{R}_{t+1}\right]$ 平均奖励
  ~  
$\begin{array}{rl}\underset{n\to \infty }{\lim }\frac{1}{n}\mathbb{E}\left[\sum _{t=0}^{n-1}{R}_{t+1}\right]& =\sum _{s\in \mathcal{S}}{d}_{\pi }(s)r_{\pi }(s)\\ & ={\bar{r}}_{\pi }\end{array}$Box 9.1：证明
————————
形式二：两个向量的内积
$r_{\pi }=[\cdots ,r_{\pi }(s),\cdots {]}^T\in {\mathbb{R}}^{|\mathcal{S}|}$
$d_{\pi }=[\cdots ,d_{\pi }(s),\cdots {]}^T\in {\mathbb{R}}^{|\mathcal{S}|}$
  ~  
${\bar{r}}_{\pi }=\sum _{s\in \mathcal{S}}{d}_{\pi }(s)r_{\pi }(s)=d_{\pi }^T{r}_{\pi }$

↓ 跑了无穷多步后，从哪里开始变得无关紧要。

〔 ${\bar{r}}_{\pi }$： 是对 即时奖励求平均，不求 return，因而也无需考虑 折扣因子 $\gamma$。
则 不管是折扣情形还是无折扣情形，式子均保持一致。〕

Box 9.1：证明 式 (9.5)

证明：

对任意状态分布 $d$

$\begin{array}{rl}\underset{n\to \infty }{\lim }\frac{1}{n}\mathbb{E}\left[\sum _{t=0}^{n-1}{R}_{t+1}\right]& =\underset{n\to \infty }{\lim }\frac{1}{n}\sum _{s\in \mathcal{S}}d(s)\mathbb{E}[\sum _{t=0}^{n-1}{R}_{t+1}|S_0=s]\\ & =\sum _{s\in \mathcal{S}}d(s)\underset{观察发现若是能证明该式={\bar{r}}_{\pi }，则证毕}{\underbrace{\underset{n\to \infty }{\lim }\frac{1}{n}\mathbb{E}[\sum _{t=0}^{n-1}{R}_{t+1}|S_0=s]}}\\ & =\sum _{s\in \mathcal{S}}d(s){\bar{r}}_{\pi }\\ & ={\bar{r}}_{\pi }\end{array}$

接下来，只需证明 下式 对任意起始状态 $s_0\in \mathcal{S}$ 成立。

$\underset{n\to \infty }{\lim }\frac{1}{n}\mathbb{E}[\sum _{t=0}^{n-1}{R}_{t+1}|S_0=s_0]={\bar{r}}_{\pi }(9.6)$

$\begin{array}{rl}\underset{n\to \infty }{\lim }\frac{1}{n}\mathbb{E}[\sum _{t=0}^{n-1}{R}_{t+1}|S_0=s_0]& =\underset{n\to \infty }{\lim }\frac{1}{n}\sum _{t=0}^{n-1}\mathbb{E}[R_{t+1}|S_0=s_0]\\ & =\underset{t\to \infty }{\lim }\mathbb{E}[R_{t+1}|S_0=s_0]\end{array}$

Cesaro 均值 〔Cesaro mean / Cesaro summation〕

• 如果 { a k } k = 1 ∞ \{a_k\}_{k=1}^\infty {ak​}k=1∞​ 是一个收敛序列，则 $\underset{k\to \infty }{\lim }{a}_k$ 存在；
• $\{\frac{1}{n}\sum _{k=1}^n{a}_k{\}}_{n=1}^{\infty }$ 也是一个收敛数列，使得 $\underset{n\to \infty }{\lim }\frac{1}{n}\sum _{k=1}^n{a}_k=\underset{k\to \infty }{\lim }{a}_k$

$\begin{array}{rl}\mathbb{E}[R_{t+1}|S_0=s_0]& =\sum _{s\in \mathcal{S}}\mathbb{E}[R_{t+1}|S_t=s,S_0=s_0]p^{(t)}(s|s_0)\\ & =\sum _{s\in \mathcal{S}}\mathbb{E}[R_{t+1}|S_t=s]p^{(t)}(s|s_0)马尔可夫无记忆性\\ & =\sum _{s\in \mathcal{S}}{r}_{\pi }(s)p^{(t)}(s|s_0)\end{array}$

• 其中 $p^{(t)}(s|s_0)$ 表示从 $s_0$ 转移到 $s$ 恰好经过 $t$ 个时间步的概率。

马尔可夫无记忆性：下一个时间步获得的奖励只取决于当前状态，而不取决于前一个状态。

根据平稳分布的定义， 有 $\underset{t\to \infty }{\lim }{p}^{(t)}(s|s_0)=d_{\pi }(s)$
因此， 起始状态 $s_0$ 无影响，则

$\underset{t\to \infty }{\lim }\mathbb{E}[R_{t+1}|S_0=s_0]=\underset{t\to \infty }{\lim }\sum _{s\in \mathcal{S}}{r}_{\pi }(s)p^{(t)}(s|s_0)=\sum _{s\in \mathcal{S}}{r}_{\pi }(s)d_{\pi }(s)={\bar{r}}_{\pi }$

得证。

Lemma 9.1：证明 ${\bar{r}}_{\pi }=(1-\gamma ){\bar{v}}_{\pi }$

引理 9.1 ( ${\bar{v}}_{\pi }(\theta )$ 和 ${\bar{r}}_{\pi }(\theta )$ 的等效性)：
当折扣因子 $\gamma \in (0,1)$ 时， 有 ${\bar{r}}_{\pi }=(1-\gamma ){\bar{v}}_{\pi }$

〔 ${\bar{r}}_{\pi }$： 近视，仅考虑 即时奖励
${\bar{v}}_{\pi }$ : 考虑全部时间步的总奖励 〕

证明：

注意到 ${\bar{v}}_{\pi }(\theta )=d_{\pi }^T{v}_{\pi }$， ${\bar{r}}_{\pi }(\theta )=d_{\pi }^T{r}_{\pi }$
其中 $v_{\pi }$ 和 $r_{\pi }$ 满足 贝尔曼公式 $v_{\pi }=r_{\pi }+\gamma P_{\pi }{v}_{\pi }$，对该式两边同乘 $d_{\pi }^T$，得
  ~  
$d_{\pi }^T{v}_{\pi }=d_{\pi }^T{r}_{\pi }+\gamma d_{\pi }^T{P}_{\pi }{v}_{\pi }$
  ~  
${\bar{v}}_{\pi }={\bar{r}}_{\pi }+\gamma \underset{式(8.10),=d_{\pi }^T}{\underbrace{d_{\pi }^T{P}_{\pi }}}{v}_{\pi }={\bar{r}}_{\pi }+\gamma d_{\pi }^T{v}_{\pi }={\bar{r}}_{\pi }+\gamma {\bar{v}}_{\pi }$

整理即得 ${\bar{r}}_{\pi }=(1-\gamma ){\bar{v}}_{\pi }$。 证毕。

9.3 指标的梯度

定理 9.1 (策略梯度理论)
$J(\theta )$ 的梯度为： ${\nabla }_{\theta }J(\theta )=\sum _{s\in \mathcal{S}}\eta (s)\sum _{a\in \mathcal{A}}{\nabla }_{\theta }\pi (a|s,\theta )q_{\pi }(s,a)(9.8)$

• 其中 $\eta$ 是状态分布
• ${\nabla }_{\theta }\pi$ 是 $\pi$ 关于 $\theta$ 的梯度

另一种形式： ${\nabla }_{\theta }J(\theta )={\mathbb{E}}_{S\sim \eta ,A\sim \pi (S,\theta )}[{\nabla }_{\theta }\ln \pi (A|S,\theta )q_{\pi }(S,A)](9.9)$

$\eta$ 在不同的场景可能不同。

⭐⭐⭐ 式(9.8) 可用 式(9.9) 表示
  ~  
$\begin{array}{rl}{\nabla }_{\theta }J(\theta )& =\sum _{s\in \mathcal{S}}\eta (s)\sum _{a\in \mathcal{A}}{\nabla }_{\theta }\pi (a|s,\theta )q_{\pi }(s,a)\\ & ={\mathbb{E}}_{S\sim \eta }[\sum _{a\in \mathcal{A}}{\nabla }_{\theta }\pi (a|S)q_{\pi }(S,a)]\end{array}$

• 转成 期望，便于使用 梯度下降 之类的方法

此外 ${\nabla }_{\theta }\ln \pi (a|s,\theta )=\frac{{\nabla }_{\theta }\pi (a|s,\theta )}{\pi (a|s,\theta )}$
即有 ${\nabla }_{\theta }\pi (a|s,\theta )=\pi (a|s,\theta ){\nabla }_{\theta }\ln \pi (a|s,\theta )$
则原式
$\begin{array}{rl}{\nabla }_{\theta }J(\theta )& ={\mathbb{E}}_{S\sim \eta }[\sum _{a\in \mathcal{A}}\underset{{\nabla }_{\theta }\pi (a|S,\theta )}{\underbrace{\pi (a|S,\theta ){\nabla }_{\theta }\ln \pi (a|S,\theta )}}{q}_{\pi }(S,a)]\\ & ={\mathbb{E}}_{S\sim \eta ,A\sim \pi (S,\theta )}[{\nabla }_{\theta }\ln \pi (A|S,\theta )q_{\pi }(S,A)]\end{array}$

• $\pi (a|s,\theta )$ 必须为正，保证 $\ln \pi (a|s,\theta )$ 有效 ——> 使用 softmax 函数 〔 $(-\infty ,\infty )\to (0,1)$ 〕$\pi (a|s,\theta )=\frac{e^{h(s,a,\theta )}}{\sum _{a^{\prime }\in \mathcal{A}}{e}^{h(s,a^{\prime },\theta )}},a\in \mathcal{A}(9.12)$
• 式中 $h(s,a,\theta )$ 是表示 在状态 $s$ 时选择 动作 $a$ 的偏好的函数。〔 特征函数 〕
  式 (9.12) 中的策略对于任意 $s\in \mathcal{S}$，满足 $\pi (a|s,\theta )\in (0,1)$ 和 ${\Sigma }_{a\in \mathcal{A}}\pi (a|s,\theta )=1$，该策略可以通过神经网络实现。网络的输入为 $s$，输出层为 softmax 层，因此网络对所有 $a$ 输出 $\pi (a|s,\theta )$，输出之和等于 1。如图 9.2(b) 所示。

9.3.1 在折扣情形下的梯度推导

状态价值：$v_{\pi }(s)=\mathbb{E}[R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+\cdots |S_t=s]$
动作价值：$q_{\pi }(s,a)=\mathbb{E}[R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+\cdots |S_t=s,A_t=a]$

$v_{\pi }(s)=\sum _{a\in \mathcal{A}}\pi (a|s,\theta )q_{\pi }(s,a)$ 且 状态价值满足贝尔曼公式。

之前的 引理 9.1 已经证明 ${\bar{r}}_{\pi }(\theta )=(1-\gamma ){\bar{v}}_{\pi }(\theta )$

Lemma 9.2 (Gradient of $v_{\pi }(s)$).
在折扣情形， 对于任意 $s\in \mathcal{S}$， 有
  ~  
${\nabla }_{\theta }{v}_{\pi }(s)=\sum _{s^{\prime }\in \mathcal{S}}{\text{Pr}}_{\pi }(s^{\prime }|s)\sum _{a\in \mathcal{A}}{\nabla }_{\theta }\pi (a|s^{\prime },\theta )q_{\pi }(s^{\prime },a)(9.14)$

• 其中 ${\text{Pr}}_{\pi }(s^{\prime }|s)\doteq \sum _{k=0}^{\infty }{\gamma }^k[P_{\pi }^k{]}_{s{s}^{\prime }}=[(I_n-\gamma P_{\pi }{)}^{-1}{]}_{s{s}^{\prime }}$ 是策略 $\pi$ 下从 $s$ 过渡到 $s^{\prime }$ 的折扣总概率。
  这里，$[\cdot {]}_{s{s}^{\prime }}$ 表示第 $s$ 行第 $s^{\prime }$ 列的条目，$[P_{\pi }^k{]}_{s{s}^{\prime }}$ 是在 $\pi$ 下恰好经过 $k$ 个时间步从 $s$ 过渡到 $s^{\prime }$ 的概率。

Lemma 9.2： (Gradient of $v_{\pi }(s)$) 的证明

Box 9.2: Proof of Lemma 9.2
对任意 $s\in \mathcal{S}$， 有
  ~  
$\begin{array}{rl}{\nabla }_{\theta }{v}_{\pi }(s)& ={\nabla }_{\theta }[\sum _{a\in \mathcal{A}}\pi (a|s,\theta )q_{\pi }(s,a)]\\ & =\sum _{a\in \mathcal{A}}[{\nabla }_{\theta }\pi (a|s,\theta )\cdot q_{\pi }(s,a)+\pi (a|s,\theta )\underset{接下来求解这一项}{\underbrace{{\nabla }_{\theta }{q}_{\pi }(s,a)}}](9.15)求导法则\end{array}$
  ~  
其中动作价值 $q_{\pi }(s,a)=r(s,a)+\gamma \sum _{s^{\prime }\in \mathcal{S}}p(s^{\prime }|s,a)v_{\pi }(s^{\prime })$
  ~  
因为 $r(s,a)=\sum _{r}rp(r|s,a)$ 与 $\theta$ 无关，则
  ~  
${\nabla }_{\theta }{q}_{\pi }(s,a)=0+\gamma \sum _{s^{\prime }\in \mathcal{S}}p(s^{\prime }|s,a){\nabla }_{\theta }{v}_{\pi }(s^{\prime })$
  ~  
原式
$\begin{array}{rl}{\nabla }_{\theta }{v}_{\pi }(s)& =\sum _{a\in \mathcal{A}}[{\nabla }_{\theta }\pi (a|s,\theta )\cdot q_{\pi }(s,a)+\pi (a|s,\theta )\gamma \sum _{s^{\prime }\in \mathcal{S}}p(s^{\prime }|s,a){\nabla }_{\theta }{v}_{\pi }(s^{\prime })]\\ & =\sum _{a\in \mathcal{A}}{\nabla }_{\theta }\pi (a|s,\theta )\cdot q_{\pi }(s,a)+\gamma \sum _{a\in \mathcal{A}}\pi (a|s,\theta )\sum _{s^{\prime }\in \mathcal{S}}p(s^{\prime }|s,a){\nabla }_{\theta }{v}_{\pi }(s^{\prime })(9.16)对每项分别求和\end{array}$
  ~  
令 $u(s)\doteq \sum _{a\in \mathcal{A}}{\nabla }_{\theta }\pi (a|s,\theta )q_{\pi }(s,a)$
  ~  
因为 $\sum _{a\in \mathcal{A}}\pi (a|s,\theta )\sum _{s^{\prime }\in \mathcal{S}}p(s^{\prime }|s,a){\nabla }_{\theta }{v}_{\pi }(s^{\prime })=\sum _{s^{\prime }\in \mathcal{S}}p(s^{\prime }|s){\nabla }_{\theta }{v}_{\pi }(s^{\prime })=\sum _{s^{\prime }\in \mathcal{S}}[P_{\pi }{]}_{s{s}^{\prime }}{\nabla }_{\theta }{v}_{\pi }(s^{\prime })$
  ~  
将 式 (9.16) 写成 矩阵形式：
$\underset{{\nabla }_{\theta }{v}_{\pi }\in {\mathbb{R}}^{mn}}{\underbrace{\left[\begin{array}{c}⋮\\ {\nabla }_{\theta }{v}_{\pi }(s)\\ ⋮\end{array}\right]}}=\underset{u\in {\mathbb{R}}^{mn}}{\underbrace{\left[\begin{array}{c}⋮\\ u(s)\\ ⋮\end{array}\right]}}+\gamma (P_{\pi }\otimes I_m)\underset{{\nabla }_{\theta }{v}_{\pi }\in {\mathbb{R}}^{mn}}{\underbrace{\left[\begin{array}{c}⋮\\ {\nabla }_{\theta }{v}_{\pi }(s^{\prime })\\ ⋮\end{array}\right]}}$
  ~  
简写为：
  ~  
${\nabla }_{\theta }{v}_{\pi }=u+\gamma (P_{\pi }\otimes I_m){\nabla }_{\theta }{v}_{\pi }$

• 其中 $n=|\mathcal{S}|$， $m$ 为参数向量 $\theta$ 的维度。
    ~  
  整理上式
    ~  
  $(I_{nm}-\gamma (P_{\pi }\otimes I_m)){\nabla }_{\theta }{v}_{\pi }=u$
    ~  
  $\begin{array}{rl}{\nabla }_{\theta }{v}_{\pi }& =(I_{nm}-\gamma P_{\pi }\otimes I_m{)}^{-1}u\\ & =(I_n\otimes I_m-\gamma P_{\pi }\otimes I_m{)}^{-1}u\\ & =[(I_n-\gamma P_{\pi }{)}^{-1}\otimes I_m]u\end{array}$
    ~  
  $\begin{array}{rl}{\nabla }_{\theta }{v}_{\pi }(s)& =\sum _{s^{\prime }\in \mathcal{S}}[(I_n-\gamma P_{\pi }{)}^{-1}{]}_{s{s}^{\prime }}u(s^{\prime })注意矩阵形式与原形式的对应记法\\ & =\sum _{s^{\prime }\in \mathcal{S}}[(I_n-\gamma P_{\pi }{)}^{-1}{]}_{s{s}^{\prime }}\sum _{a\in \mathcal{A}}{\nabla }_{\theta }\pi (a|s^{\prime },\theta )q_{\pi }(s^{\prime },a)(9.18)\end{array}$

关于 $[(I_n-\gamma P_{\pi }{)}^{-1}{]}_{s{s}^{\prime }}$ 的概率解释
  ~  
因为 $(I_n-\gamma P_{\pi }{)}^{-1}=I+\gamma P_{\pi }+{\gamma }^2{P}_{\pi }^2+\cdots$
  ~  
$[(I_n-\gamma P_{\pi }{)}^{-1}{]}_{s{s}^{\prime }}=[I{]}_{s{s}^{\prime }}+\gamma [P_{\pi }{]}_{s{s}^{\prime }}+{\gamma }^2[P_{\pi }^2{]}_{s{s}^{\prime }}+\cdots =\sum _{k=1}^{\infty }{\gamma }^k[P_{\pi }^k{]}_{s{s}^{\prime }}$
  ~  
注意，$[P_{\pi }^k{]}_{s{s}^{\prime }}$ 是恰好经过 $k$ 个时间步从 $s$ 过渡到 $s^{\prime }$ 的概率。
因此，$[(I_n-\gamma P_{\pi }{)}^{-1}{]}_{s{s}^{\prime }}$ 是使用任意步数从 $s$ 过渡到 $s^{\prime }$ 的折扣总概率。
通过定义 $[(I_n-\gamma P_{\pi }{)}^{-1}{]}_{s{s}^{\prime }}\doteq {\text{Pr}}_{\pi }(s^{\prime }|s)$，式 (9.18) 变为 (9.14)。

定理 9.2： 折扣情形下 ${\bar{v}}_{\pi }^0$ 的梯度

在折扣因子 $\gamma \in (0,1)$ 的情形下，${\bar{v}}_{\pi }^0=d_0^T{v}_{\pi }$ 的梯度为：
  ~  
${\nabla }_{\theta }{\bar{v}}_{\pi }^0=\mathbb{E}[{\nabla }_{\theta }\ln \pi (A|S,\theta )q_{\pi }(S,A)]$

• 其中 $S\sim {\rho }_{\pi }$, $A\sim \pi (S,\theta )$

  ~  
状态分布 ${\rho }_{\pi }(s)=\sum _{s^{\prime }\in \mathcal{S}}{d}_0(s^{\prime })\text{Pr}(s|s^{\prime }),s\in \mathcal{S}(9.19)$

• 其中 $\text{Pr}(s|s^{\prime })=\sum _{k=0}^{\infty }{\gamma }^k[P_{\pi }^k{]}_{s^{\prime }s}=[(I-\gamma P_{\pi }{)}^{-1}{]}_{s^{\prime }s}$ 是在策略 $\pi$ 下从 $s^{\prime }$ 转移到 $s$ 的 折扣概率。

Box 9.3: Proof of Theorem 9.2

由于 $d_0(s)$ 与策略 $\pi$ 无关，则
  ~  
$\begin{array}{rl}{\nabla }_{\theta }{\bar{v}}_{\pi }^0={\nabla }_{\theta }\sum _{s\in \mathcal{S}}{d}_0(s)v_{\pi }(s)& =\sum _{s\in \mathcal{S}}{d}_0(s){\nabla }_{\theta }{v}_{\pi }(s)\\ & =\sum _{s\in \mathcal{S}}{d}_0(s)\underset{引理9.2，式9.14}{\underbrace{\sum _{s^{\prime }\in \mathcal{S}}{\text{Pr}}_{\pi }(s^{\prime }|s)\sum _{a\in \mathcal{A}}{\nabla }_{\theta }\pi (a|s^{\prime },\theta )q_{\pi }(s^{\prime },a)}}\\ & =\sum _{s^{\prime }\in \mathcal{S}}(\sum _{s\in \mathcal{S}}{d}_0(s){\text{Pr}}_{\pi }(s^{\prime }|s))\sum _{a\in \mathcal{A}}{\nabla }_{\theta }\pi (a|s^{\prime },\theta )q_{\pi }(s^{\prime },a)\\ & =\sum _{s^{\prime }\in \mathcal{S}}{\rho }_{\pi }(s^{\prime })\sum _{a\in \mathcal{A}}{\nabla }_{\theta }\pi (a|s^{\prime },\theta )q_{\pi }(s^{\prime },a)\\ & =\sum _{s\in \mathcal{S}}{\rho }_{\pi }(s)\sum _{a\in \mathcal{A}}{\nabla }_{\theta }\pi (a|s,\theta )q_{\pi }(s,a)将s^{\prime }换成s\\ & =\sum _{s\in \mathcal{S}}{\rho }_{\pi }(s)\sum _{a\in \mathcal{A}}\pi (a|s,\theta ){\nabla }_{\theta }\ln \pi (a|s,\theta )q_{\pi }(s,a)\\ & =\mathbb{E}[{\nabla }_{\theta }\ln \pi (A|S,\theta )q_{\pi }(S,A)]\end{array}$

• 其中 $S\sim {\rho }_{\pi }$ ， $A\sim \pi (S,\theta )$

证毕。

定理 9.3 折扣情形下 ${\bar{r}}_{\pi }$ 和 ${\bar{v}}_{\pi }$ 的梯度

在折扣因子为 $\gamma \in (0,1)$ 的情形下， ${\bar{r}}_{\pi }$ 和 ${\bar{v}}_{\pi }$ 的梯度为：
$\begin{array}{rl}{\nabla }_{\theta }{\bar{r}}_{\pi }=(1-\gamma ){\nabla }_{\theta }{\bar{v}}_{\pi }& \approx \sum _{s\in \mathcal{S}}{d}_{\pi }(s)\sum _{a\in \mathcal{A}}{\nabla }_{\theta }\pi (a|s,\theta )q_{\pi }(s,a)\\ & =\mathbb{E}[{\nabla }_{\theta }\ln \pi (A|S,\theta )q_{\pi }(S,A)]\end{array}$

• 其中 $S\sim d_{\pi }$， $A\sim \pi (S,\theta )$

这里，当 $\gamma$ 更接近 1 时， 近似更精确。

Box 9.4: Proof of Theorem 9.3

$\begin{array}{rl}{\nabla }_{\theta }{\bar{v}}_{\pi }& ={\nabla }_{\theta }\sum _{s\in \mathcal{S}}{d}_{\pi }(s)v_{\pi }(s)\\ & =\sum _{s\in \mathcal{S}}{\nabla }_{\theta }{d}_{\pi }(s)v_{\pi }(s)+\sum _{s\in \mathcal{S}}{d}_{\pi }(s){\nabla }_{\theta }{v}_{\pi }(s)(9.20)求导法则\end{array}$
对第 2 项，将式 (9.17) 代入

  ~  
$\begin{array}{rl}\sum _{s\in \mathcal{S}}{d}_{\pi }(s){\nabla }_{\theta }{v}_{\pi }(s)=(d_{\pi }^T\otimes I_m){\nabla }_{\theta }{v}_{\pi }& =(d_{\pi }^T\otimes I_m)[(I_n-\gamma P_{\pi }{)}^{-1}\otimes I_m]u\\ & =[d_{\pi }^T(I_n-\gamma P_{\pi }{)}^{-1}]\otimes I_{m}u(9.21)\\ & =\frac{1}{1-\gamma }{d}_{\pi }^T\otimes I_{m}u\\ & =\frac{1}{1-\gamma }\sum _{s\in \mathcal{S}}{d}_{\pi }(s)\underset{u}{\underbrace{\sum _{a\in \mathcal{A}}{\nabla }_{\theta }\pi (a|s,\theta )q_{\pi }(s,a)}}\end{array}$

对于 $d_{\pi }^T(I_n-\gamma P_{\pi }{)}^{-1}=\frac{1}{1-\gamma }{d}_{\pi }^T$
两边同乘 $I_n-\gamma P_{\pi }$， 得 $d_{\pi }^T=\frac{1}{1-\gamma }{d}_{\pi }^T(I_n-\gamma P_{\pi })=\frac{1}{1-\gamma }(1-\gamma )d_{\pi }^T$

第一项：由于第 2 项包含 $\frac{1}{1-\gamma }$， 当 $\gamma \to 1$ 时， 第 2 项占据主导， 因此
  ~  
${\nabla }_{\theta }{\bar{v}}_{\pi }\approx \frac{1}{1-\gamma }\sum _{s\in \mathcal{S}}{d}_{\pi }(s)\sum _{a\in \mathcal{A}}{\nabla }_{\theta }\pi (a|s,\theta )q_{\pi }(s,a)$
  ~  
$\begin{array}{rl}{\nabla }_{\theta }{\bar{r}}_{\pi }=(1-\gamma ){\nabla }_{\theta }{\bar{v}}_{\pi }& \approx \sum _{s\in \mathcal{S}}{d}_{\pi }(s)\sum _{a\in \mathcal{A}}{\nabla }_{\theta }\pi (a|s,\theta )q_{\pi }(s,a)\\ & =\sum _{s\in \mathcal{S}}{d}_{\pi }(s)\sum _{a\in \mathcal{A}}\pi (a|s,\theta ){\nabla }_{\theta }\ln \pi (a|s,\theta )q_{\pi }(s,a)\\ & =\mathbb{E}[{\nabla }_{\theta }\ln \pi (A|S,\theta )q_{\pi }(S,A)]\end{array}$
  ~  
上式的近似要求当 $\gamma \to 1$ 时，第一项不趋于无穷。