▶《强化学习的数学原理》(2024春)_西湖大学赵世钰 Ch2 贝尔曼公式 【状态值、动作值】

PPT 截取有用信息。 课程网站做习题。总体 MOOC 过一遍

• 1、学堂在线 视频 + 习题
• 2、相应章节 过电子书 复习 GitHub界面链接
• 3、总体 MOOC 过一遍
• 还是跳过了一些 P38

学堂在线 课程页面链接
中国大学MOOC 课程页面链接
B 站 视频链接

PPT和书籍下载网址： 【github链接】

---

状态值：agent 在遵循给定策略时所能获得的平均奖励。
状态值越大，对应的策略越好。
状态值可以用作 评估策略是否良好 的度量。
通过求解 Bellman 方程，可以得到状态值。

状态值
贝尔曼公式

——————

2.1 return：可评估策略的好坏

回报 return：沿着 一个轨迹 获得的 奖励 折扣和。
可用于 评估策略

return 可以评估策略的好坏

计算 return 的值，来评估以下 3 个策略
3 种策略的区别在于第一格。 策略 1 是往下走，策略 2 是 往右走，策略 3 往下 和 往右的概率 分别为 50%。其它格相同。

计算 return

方法一： 根据定义

回报 return 等于沿轨迹收集的所有奖励的折扣总和。

$\mathrm{retur}{\mathrm{n}}_3$ 严格来说是 状态值。【计算涉及两条轨迹】 从状态 $s_1$ 出发得到的平均 return。

return 是针对 一个 轨迹 而言。
状态值 可能是 多个轨迹。

通过数学求解得到的结论和直觉一致， 成功将直觉数学化。

——> 可用 return 评估策略。

方法二： 根据状态间 回报 的依赖关系

$v_i$： 从 $s_i$ 出发获得的回报

例：

推导：
$v_1=r_1+\gamma r_2+{\gamma }^2{r}_3+...=r_1+\gamma (r_2+\gamma r_3+...)=r_1+\gamma v_2$
$v_2=r_2+\gamma r_3+{\gamma }^2{r}_4+...=r_2+\gamma (r_3+\gamma r_4+...)=r_2+\gamma v_3$
$v_3=r_3+\gamma r_4+{\gamma }^2{r}_1+...=r_3+\gamma (r_4+\gamma r_1+...)=r_3+\gamma v_4$
$v_4=r_4+\gamma r_1+{\gamma }^2{r}_2+...=r_4+\gamma (r_1+\gamma r_2+...)=r_4+\gamma v_1$
  ~  
写成矩阵形式

$$\begin{array}{rl}\left[\begin{array}{c}{v}_1\\ v_2\\ v_3\\ v_4\end{array}\right]& =\left[\begin{array}{c}{r}_1\\ r_2\\ r_3\\ r_4\end{array}\right]+\gamma \left[\begin{array}{c}{v}_2\\ v_3\\ v_4\\ v_1\end{array}\right]\\ & \\ & =\left[\begin{array}{c}{r}_1\\ r_2\\ r_3\\ r_4\end{array}\right]+\gamma \left[\begin{array}{cccc}0& 1& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\\ 1& 0& 0& 0\end{array}\right]\left[\begin{array}{c}{v}_1\\ v_2\\ v_3\\ v_4\end{array}\right]\\ & \\ \mathbf{v}& =\mathbf{r}+\gamma \mathbf{Pv}\end{array}$$

Bellman 方程的核心思想：从一种状态出发所获得的收益依赖于从其他状态出发所获得的收益。

从不同状态出发得到的 return ， 依赖于 从其它状态 出发得到的 return。【强化学习中的 Bootstrapping 思想】

Bootstrapping：从自己出发不断迭代得到的一些结果。

---

2.3 State value 状态值 $v_{\pi }(s)$

之前提到， 回报 return 可用来评估策略。然而，它们不适用于随机系统，因为从一个状态出发可能导致不同的回报。
——> 用 状态值 评估

随机变量 大写

多步 trajectory：
$$S_t\stackrel{A_t}{\to }{R}_{t+1},S_{t+1}\stackrel{A_{t+1}}{\to }{R}_{t+2},S_{t+2}\stackrel{A_{t+2}}{\to }{R}_{t+3},\cdots$$

折扣回报：
$$G_t=R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+\cdots$$

• $\gamma \in [0,1)$ 为折扣率

$R_{t+1}$ 开始累积 ！！！

——————————————

状态值函数 / 状态值: $v_{\pi }(s)=\mathbb{E}[G_t|S_t=s]$

• $G_t$ 的期望【期望值/均值】
• 状态值的值还具有价值的含义， 值越大， 表示价值越大，从这个状态出发能获得更多的回报。

状态值 $v_{\pi }(s)$ 取决于 状态 $s$ 和 策略 $\pi$, 和 时间步长 $t$ 无关。

return VS state value
return: 针对 单个 trajectory
state value: 多个 trajectory 的 return 的平均值

• 从 某个状态 出发，有可能得到多个 trajectory，此时得到的值可能不一样。
• 当 从 某个状态出发，仅存在一条 trajectory，此时两者相同

状态值与回报 return 之间的关系：

• 当策略和系统模型都是确定的时，从一个状态出发总是会导致相同的轨迹。在这种情况下，从一个状态开始获得的回报值等于状态值。
• 当策略或系统模型是随机的，从相同的状态出发可能会产生不同的轨迹。在这种情况下，不同轨迹的回报是不同的，状态值是这些回报的均值。

虽然可以使用 回报 return 来评估策略，如 2.1 节所示，但是使用状态值来评估策略更为正式：状态值更大的策略更好。

计算 3 个不同策略下， 同一状态 $s_1$ 出发 的 value

---

2.4 贝尔曼公式 推导

P3 贝尔曼公式 推导

贝尔曼公式 描述了 不同状态 的 state value 之间的关系。

对于某个 trajectory：
$$S_t\stackrel{A_t}{\to }{R}_{t+1},S_{t+1}\stackrel{A_{t+1}}{\to }{R}_{t+2},S_{t+2}\stackrel{A_{t+2}}{\to }{R}_{t+3},...$$
折扣回报：
$$\begin{array}{rl}{G}_t& =R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+...\\ & =R_{t+1}+\gamma (R_{t+2}+\gamma R_{t+3}+...)\\ & =R_{t+1}+\gamma G_{t+1}\end{array}$$
状态值
$$\begin{array}{rl}{v}_{\pi }(s)& =\mathbb{E}[G_t|S_t=s]\\ & =\mathbb{E}[R_{t+1}+\gamma G_{t+1}|S_t=s]\\ & =\mathbb{E}[R_{t+1}|S_t=s]+\gamma \mathbb{E}[G_{t+1}|S_t=s]\end{array}$$
其中
即时奖励 均值
$$\begin{array}{rl}\mathbb{E}[R_{t+1}|S_t=s]& =\sum _a\pi (a|s)\mathbb{E}[R_{t+1}|S_t=s,A_t=a]\\ & =\sum _a\pi (a|s)\sum _{r}p(r|s,a)r\end{array}$$

• 动作的集和 $\mathcal{A}(s),a\in \mathcal{A}(s)$；回报的集合 $\mathcal{R}(s,a),r\in \mathcal{R}(s,a)$

  ~  
在状态 $s$，可以执行多个动作，执行 动作 $a$ 的概率是 $\pi (a|s)$， 得到的回报是后面那一串 【从 $s$ 出发， 执行动作 $a$， 得到奖励 $r$ 的概率是 $p(r|s,a)$， 分别乘上奖励 $r$ 的值，求和得到期望】。
  ~  
未来奖励 【延迟奖励】均值
$$\begin{array}{rl}\mathbb{E}[G_{t+1}|S_t=s]& =\sum _{s^{\prime }}\mathbb{E}[G_{t+1}|S_t=s,S_{t+1}=s^{\prime }]p(s^{\prime }|s)\\ & =\sum _{s^{\prime }}\mathbb{E}[G_{t+1}|S_{t+1}=s^{\prime }]p(s^{\prime }|s)马尔可夫性质：仅取决于当前的状态，和之前的状态无关\\ & =\sum _{s^{\prime }}{v}_{\pi }(s^{\prime })p(s^{\prime }|s)\\ & =\sum _{s^{\prime }}{v}_{\pi }(s^{\prime })\sum _{a}p(s^{\prime }|s,a)\pi (a|s)\end{array}$$
从状态 $s$ 出发， 得到下一时刻 return 的均值
从状态 $s$ 出发， 可以跳到多个不同的状态 $s^{\prime }$，跳到 $s^{\prime }$ 的概率是 $p(s^{\prime }|s)$， 折扣和是前面那一串

表征状态值 之间关系 的 贝尔曼公式：

每个状态 有一个这样的方程。

——————————————
PDF 补充：

贝尔曼公式：

$v_{\pi }(s)=\sum _a\pi (a|s)[\sum _{r}p(r|s,a)r+\gamma \sum _{s^{\prime }}p(s^{\prime }|s,a)v_{\pi }(s^{\prime })]$

贝尔曼公式 的 另两种等效写法：

等效 写法一：
$p(s^{\prime }|s,a)=\sum _{r}p(s^{\prime },r|s,a)$ 后续是否 进入 某个状态 取决于 回报

$p(r|s,a)=\sum _{s^{\prime }}p(s^{\prime },r|s,a)$ 获得 某个回报 的概率 取决于 后续状态

$v_{\pi }(s)=\sum _a\pi (a|s)\sum _{s^{\prime }}\sum _{r}p(s^{\prime },r|s,a)[r+\gamma v_{\pi }(s^{\prime })])$

等效 写法二 : 某些问题的 回报 $r$ 仅取决于 下一状态 $s^{\prime }$
$v_{\pi }(s)=\sum _a\pi (a|s)\sum _{s^{\prime }}p(s^{\prime }|s,a)[r(s^{\prime })+\gamma v_{\pi }(s^{\prime })]$

——————————————

2.5 示例：确定 相应的贝尔曼方程

2.5 如何写出 Bellman 方程并逐步计算状态值

如何写出 Bellman 方程并逐步计算状态值。

示例 2：

上一个 示例采取的策略 计算得到的 $v_{\pi }(s_1)$ 比当前 这个示例 大， 因为 上一个 示例直接往下走， 当前这个示例 有 50% 的 概率 会 往 右走，有可能会进入 禁区，策略没有上一个示例的好。

状态值大 ——> 策略好。

---

2.6 贝尔曼公式的 矩阵 和 向量 形式

状态值
$$\begin{array}{rl}{v}_{\pi }(s)& =\mathbb{E}[R_{t+1}|S_t=s]+\gamma \mathbb{E}[G_{t+1}|S_t=s]\\ & =\sum _a\pi (a|s)\sum _{r}p(r|s,a)r+\gamma \sum _a\pi (a|s)\sum _{s^{\prime }}p(s^{\prime }|s,a)v_{\pi }(s^{\prime })\\ & =r_{\pi }(s)+\gamma \sum _{s^{\prime }}{p}_{\pi }(s^{\prime }|s)v_{\pi }(s^{\prime })\end{array}$$

$$v_{\pi }(s_i)=r_{\pi }(s_i)+\gamma \sum _{s_j}{p}_{\pi }(s_j|s_i)v_{\pi }(s_j)$$
$${\mathbf{v}}_{\pi }={\mathbf{r}}_{\pi }+\gamma {\mathbf{P}}_{\pi }{\mathbf{v}}_{\pi }$$

• 状态转移矩阵 $P_{\pi }\in {\mathbb{R}}^{n\times n}$，$[P_{\pi }{]}_{ij}=p_{\pi }(s_j|s_i)$ 矩阵 $P_{\pi }$ 第 $i$ 行第 $j$ 列的值
• ${\mathbf{v}}_{\pi }=[v_{\pi }(s_1),v_{\pi }(s_2),\cdots ,v_{\pi }(s_n){]}^T\in {\mathbb{R}}^n$
• ${\mathbf{r}}_{\pi }=[r_{\pi }(s_1),r_{\pi }(s_2),\cdots ,r_{\pi }(s_n){]}^T\in {\mathbb{R}}^n$

关于 状态转移矩阵 $P_{\pi }$：
1、非负矩阵，所有元素都等于或大于零。 $P_{\pi }\ge 0$
2、随机矩阵，每一行的值之和等于 1。$P_{\pi }1=1,1=[1,\cdots ,1{]}^T$

状态转移矩阵：

计算示例 1：

计算示例 2：

观察发现，$P_{\pi }$ 每一行的值之和等于 1。$P_{\pi }1=1,1=[1,\cdots ,1{]}^T$

2.7 求解 贝尔曼公式 —> 求得 状态值

为什么要 求状态值？
给定一个策略，找出相应的状态值称为策略评估！这是找到更好策略的基础。

求解 贝尔曼方程 是进行策略评估的 重要步骤。

• P38

——————————————————————

证明： $v_k$ 最终 收敛到 $v_{\pi }$
归纳法
定义 误差 ${\Delta }_k=v_k-v_{\pi }$， 只需证明 ${\Delta }_k\to 0$
将用到的等式
① 贝尔曼公式 $v_{\pi }=r_{\pi }+\gamma P_{\pi }{v}_{\pi }$
② $v_{k+1}={\Delta }_{k+1}+v_{\pi }$ 误差定义
③ $v_k={\Delta }_k+v_{\pi }$ 误差定义
————————
$v_{k+1}=r_{\pi }+\gamma P_{\pi }{v}_k$ 迭代式
——> ${\Delta }_{k+1}+v_{\pi }=r_{\pi }+\gamma P_{\pi }({\Delta }_k+v_{\pi })$ ②③
——> ${\Delta }_{k+1}=-v_{\pi }+r_{\pi }+\gamma P_{\pi }{\Delta }_k+\gamma P_{\pi }{v}_{\pi }=\gamma P_{\pi }{\Delta }_k$ ①
迭代递推
${\Delta }_{k+1}=\gamma P_{\pi }{\Delta }_k={\gamma }^2{P}_{\pi }^2{\Delta }_{k-1}={\gamma }^3{P}_{\pi }^3{\Delta }_{k-2}=...={\gamma }^{k+1}{P}_{\pi }^{k+1}{\Delta }_0$
  ~  

例子：

比较好的策略：

不同的策略可能具有相同的状态值。
离 目标区域 越近， 状态的状态值越大。

不太好的策略：

状态值 大多为 负数

——> 可以 计算 状态值 来评价一个策略的好坏。

---

2.8 Action value 动作值 $q_{\pi }(s,a)$

状态值： 在某个状态 执行某个动作的价值 【回报期望值】

P5 Action value： 选哪个 action

State value VS Action value
State value：从 某个状态 出发 获得 的平均回报。$v_{\pi }(s)$
Action value: 从 某个状态 出发，执行 某个动作 后的平均回报。$q_{\pi }(s,a)$

在 一个状态中， 根据 action value 选择哪个 action。

action value 大 意味着 执行相应的 action 能获得更大回报。

$v_{\pi }(s)=\sum _a\pi (a|s)q_{\pi }(s,a)$

动作值 = 即时奖励的均值 + 未来奖励的均值。

例子：

当前的策略规定 s1 要执行 向右 的动作， 但这个策略有可能不是最佳策略，仍需要计算 执行其它动作相应的 动作值， 为策略改进做准备。

先计算 state values, 再计算 action values 。
在没有模型的情况下，通过数据直接计算 action values。

小结：
————————
PDF 补充：

基于 状态值 的 贝尔曼公式：
$v_{\pi }(s)=\sum _a\pi (a|s)[\sum _{r}p(r|s,a)r+\gamma \sum _{s^{\prime }}p(s^{\prime }|s,a)v_{\pi }(s^{\prime })]$

2.8.2 动作值 的贝尔曼方程

$q_{\pi }(s,a)=\sum _{r}p(r|s,a)r+\gamma \sum _{s^{\prime }}p(s^{\prime }|s,a)\sum _{a^{\prime }\in \mathcal{A}(s^{\prime })}\pi (a^{\prime }|s^{\prime })q_{\pi }(s^{\prime },a^{\prime })$

矩阵-向量形式：

$q_{\pi }=\tilde{r}+\gamma P{\Pi }_{q_{\pi }}$

• $[P{]}_{(s,a),s^{\prime }}=p(s^{\prime }|s,a)$
• ${\Pi }_{s^{\prime },(s^{\prime },a^{\prime })}=\pi (a^{\prime }|s^{\prime })$

————————————

2.10

state value状态值 和 return回报 的关系： 状态值是 agent 从该状态出发所能获得的 回报的均值。

状态值 和 动作值的关系： 一方面，状态值是 该状态的 动作值的均值。另一方面，动作值 依赖于 agent 在采取动作后可能过渡到的下一个状态的状态值。

$v_{\pi }(s)=\sum _a\pi (a|s)q_{\pi }(s,a)$
$q_{\pi }(s,a)=\sum _{r}p(r|s,a)r+\gamma \sum _{s^{\prime }}p(s^{\prime }|s,a)v_{\pi }(s^{\prime })$

—————————————————————————————————

习题笔记：

• State value：折扣回报的期望值。
• 状态值 $v_{\pi }(s)$ 和 策略、状态有关。不是 动作。
• 贝尔曼方程 描述了所有状态值之间的关系。
• 每一个状态都对应一个贝尔曼方程。
• 动作值（action value）$q_{\pi }(s,a)$ 和动作、状态和策略有关。