强化学习笔记——第二节

第二节——贝尔曼公式

1.State Value

$G_t$为一个轨迹的discounted return，则State value就是$G_t$的期望值Expectation

（简单来说，就是从一点到终点所有轨迹的return的平均值）
$$\begin{gathered} v_{\pi }(s)=\mathbb{E}[G_t|S_t=s] \\ v表示当前的value \\ \pi 表示当前策略policy \end{gathered}$$
state value与return的区别

• state value是多个trajectory的return的平均值
• return是单个trajectory的结果

2.贝尔曼公式

t时刻的价值函数为
$$v_{\pi }(s)=\mathbb{E}[G_t|S_t=s]$$
返回值$G_t$等于
$$\begin{array}{rl}{G}_t& =R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+\dots \dots \\ & =R_{t+1}+\gamma (R_{t+2}+\gamma R_{t+3}+\dots \dots )\\ & =R_{t+1}+\gamma G_{t+1}\end{array}$$
则价值函数可分为
$$\begin{array}{rl}{v}_{\pi }(s)& =\mathbb{E}[G_t|S_t=s]\\ & =\mathbb{E}[R_{t+1}+\gamma G_{t+1}|S_t=s]\\ & =\mathbb{E}[R_{t+1}|S_t=s]①+\gamma \mathbb{E}[G_{t+1}|S_t=s]②\end{array}$$
其中

• ①式表示当前奖励的均值，用全概率公式分解
  $$\begin{array}{rl}\mathbb{E}[G_t|S_t=s]& =\sum _a\pi (a|s)\mathbb{E}[R_{t+1}|S_t=s,A_t=a]\\ & =\sum _a\pi (a|s)\sum _r\pi (r|s,a)r\end{array}$$
  其中$\pi (a|s)$表示采取采用策略$\pi$动作a的概率，$\mathbb{E}[R_{t+1}|S_t=s,A_t=a]$由期望的定义分解为${\sum }_r\pi (r|s,a)r$

• ②式表示未来奖励的均值
  $$\begin{array}{rl}\mathbb{E}[G_{t+1}|S_t=s]& =\sum _{s^{\prime }}\mathbb{E}[G_{t+1}|S_t=s,S_{t+1}=s^{\prime }]p(s^{\prime }|s)\\ & 由于马尔可夫性质，即后面状态与前面无关，则\\ & =\sum _{s^{\prime }}\mathbb{E}[G_{t+1}|S_{t+1}=s^{\prime }]p(s^{\prime }|s)\\ & =\sum _{s^{\prime }}{v}_{\pi }(s^{\prime })p(s^{\prime }|s)\\ & =\sum _{s^{\prime }}{v}_{\pi }(s^{\prime })\sum _{a}p(s^{\prime }|s,a)\pi (a|s)\end{array}$$
  a为动作集

故贝尔曼公式为
$$\begin{array}{rl}{v}_{\pi }(s)& =\mathbb{E}[R_{t+1}|S_t=s]+\gamma \mathbb{E}[G_{t+1}|S_t=s],\\ & =\underset{当前奖励的平均值}{\underbrace{\sum _a\pi (a|s)\sum _{r}p(r|s,a)r}}+\underset{未来奖励的平均值}{\underbrace{\gamma \sum _a\pi (a|s)\sum _{s^{\prime }}p(s^{\prime }|s,a)v_{\pi }(s^{\prime })}}\\ & =\sum _a\pi (a|s)\left[\sum _{r}p(r|s,a)r+\gamma \sum _{s^{\prime }}p(s’|s,a)v_{\pi }(s^{\prime })\right],\forall s\in S.\end{array}$$
描述了不同状态值之间的关系，对于所有状态都成立，即一个状态对应一个式子

矩阵形式

$$v_{\pi }(s_i)=r_{\pi }(s_i)+\gamma \sum _{s_j}{p}_{\pi }(s_j|s_i)v_{\pi }(s_j)$$

例子

3.Action value

定义
$$q_{\pi }(s,a)=\mathbb{E}[G_t|S_t=s,A_t=a]$$
表示从当前状态s出发，进行行动a后所得到return的平均值，依赖于策略$\pi$

有贝尔曼公式可得
$$\begin{array}{rl}{q}_{\pi }(s,a)& =\mathbb{E}[G_t|S_t=s,A_t=a]\\ & =\sum _{r}p(r|s,a)r+\gamma \sum _{s^{\prime }}p(s’|s,a)v_{\pi }(s^{\prime })\end{array}$$

state value 与 action value的区别

状态值$v_{\pi }(s)$与动作值$q_{\pi }$计算关系
$$v_{\pi }(s)=\sum _a\pi (a|s)q_{\pi }(s,a)$$

• state value: 从一个状态出发得到的平均返回值
• action value:从一个状态出发，采取一种行动后，得到的平均返回值

4.贝尔曼最优公式

• 贝尔曼公式用于 评估策略，你给出一个策略，它就计算该策略的价值。
• 贝尔曼最优公式用于 寻找最优策略，你给出一个游戏环境，它就找到在这个环境下最优的策略。

$$\begin{array}{rl}{v}_{\pi }(s)& =\underset{\pi }{\max }\sum _a\pi (a|s)\left[\sum _{r}p(r|s,a)r+\gamma \sum _{s^{\prime }}p(s’|s,a)v_{\pi }(s^{\prime })\right]\\ & =\underset{\pi }{\max }\sum _a\pi (a|s)q(s,a),\forall s\in S.\\ & =\underset{\pi }{\max }(r_{\pi }+\gamma P_{\pi }v)（向量表示）\end{array}$$

其中$p(r|s,a),p(s^{\prime }|s,a),r,\gamma$已知，求解$v(s)，v(s^{\prime })，\pi (a|s)$

当有最优策略${\pi }^{\ast }$，则
$$v^{\ast }=r_{{\pi }^{\ast }}+\gamma P_{\pi }{v}^{\ast }$$
$v^{\ast }$为最优解且唯一，${\pi }^{\ast }$不一定唯一

5.压缩映射定理

不动点

若存在映射$f:X\to X,且x\in X$, 有$f(x)=x$，则称$x$为不动点

压缩映射（压缩函数）

若映射$f$满足$||f(x_1)-f(x_2)||\le \gamma ||x_1-x_2||,\gamma \in (0,1)$， 映射$f$就称为压缩映射

压缩映射定理性质

若有$压缩映射f，且x=f(x)$，则有

• 存在性：必定有一个不动点$x^{\ast }$满足$f(x^{\ast })=x^{\ast }$
• 唯一性：不动点唯一
• 可求性（有一种算法能求）：有序列 { x k } \{x_k\} {xk​}且$X_{k+1}=f(x_k)$, 当$k\to \infty$则 $x_k \to x^* $，收敛越来越块

本节代码

1_Bellman(github.com)
1_Bellman(gitee.com)