强化学习 马尔科夫决策过程（价值迭代、策略迭代、雅克比迭代、蒙特卡洛）

---

一、马尔科夫过程Markov Decision Process（MDP）

1.简介

定义：无记忆的随机过程。

2、Markov 特性

1.历史状态h_t={s₁,s₂,s₃,……,s_t}
2.状态s_t有且仅有：
p ( s_t+1 | s_t )=p ( s_t+1 | h_t )
p ( s_t+1 | s_t , a_t )=p ( s_t+1 | h_t , a_t )
3.“考虑到现在，未来是独立于过去的”

---

3、Markov 奖励过程

符号表示

有四个符号$<S,P,R,\gamma >$
$S$：有限状态集合；
$P$：状态转移概率矩阵$P_{s{s}^{\prime }}=p(s_{t+1}=s^{\prime }|s_t=s)$；表现为，既当前状态为$s_t=s$时，下一个状态变为$s_{t+1}=s^{\prime }$的概率。

$R$：奖励函数$R_S=E[R_{t+1}|S_t=s]$ ，既状态单次转换取得的收益；如下图所示

$\gamma$：折扣因子/衰减系数$\gamma \in [0,1]$。

回报：$G_t$是从时间$t$开始的总折扣奖励，如下式
$$G_t=R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+...=\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}$$
值函数：$V(s)$表示一个状态$s$的长期价值$V(s)=E[G_t|S_t=s]$，如下图所示

MRPs的贝尔曼方程

已知，
$$G_t=R_{t+1}+\gamma G(S_{t+1})$$
可得，
$$V(s)=E[R_{t+1}+\gamma V(S_{t+1})|S_t=s]$$
已知，
$$\begin{gathered} R_S=E[R_{t+1}|S_t=S] \\ {P}_{s{s}^{\prime }}=P[S_{t+1}=s^{\prime }|S_t=s] \end{gathered}$$
可得，
$$V(s)=R_S+\gamma \sum _{s^{\prime }\in S}{P}_{s{s}^{\prime }}V(s^{\prime })$$
矩阵形式如下，

$$\begin{gathered} V=R+\gamma PV \\ (1-\gamma P)V=R \\ V=(1-\gamma P{)}^{-1}R \end{gathered}$$
常用求解方法有动态规划、蒙特卡洛评估、时序差分学习等。

4、Markov决策过程

符号表示

有五个符号$<S,A,P,R,\gamma >$
$S$：有限状态集合；
$A$：有限动作集合；
$P$：状态转移概率矩阵$P_{s{s}^{\prime }}^a=p(s_{t+1}=s^{\prime }|s_t=s,A_t=a)$；状态转移矩阵 P 表现为，既当前状态为$s_t=s$时，下一个状态变为$s_{t+1}=s^{\prime }$的概率。
$R$：奖励函数$R_S^a=E[R_{t+1}|S_t=s,A_t=a]$ ，既状态单次转换取得的收益；
$\gamma$：折扣因子/衰减系数$\gamma \in [0,1]$。
策略：$\pi$为给定状态的动作分布$\pi (a|s)=P[A_t=a|S_t=s]$。
其中策略依赖于当前状态（无关历史）；也是固定的（无关时间），$A_t\sim \pi (\cdot |S_t)$，任意$t>0$

转化

给定一个Markov决策过程$M=<S,A,P,R,\gamma >$和策略$\pi$，可以转化为Markov过程$<S,P>$和Markov奖励过程$<S,P,R,\gamma >$
$$\begin{gathered} P_{s,s^{\prime }}^{\pi }=\sum _{a\in A}\pi (a|s)P_{s,s^{\prime }}^a \\ {R}_s^{\pi }=\sum _{a\in A}\pi (a|s)R_s^a \end{gathered}$$
状态值函数：$V(s)=E[G_t|S_t=s]$。
动作值函数：$q_{\pi }(s,a)=E_{\pi }[G_t|S_t=s,A_t=a]$。

MRPs的贝尔曼方程

已知，
$$G_t=R_{t+1}+\gamma G(S_{t+1})$$
状态值函数：
$$V(s)=E[R_{t+1}+\gamma V(S_{t+1})|S_t=s]$$
动作值函数
$$q_{\pi }(s,a)=E[R_{t+1}+\gamma q_{\pi }(s_{t+1},a_{t+1})|S_t=s,A_t=a]$$

优化问题

最优状态值函数
$$v_{\ast }(s)=\underset{\pi }{\max }{v}_{\pi }(s)$$
最优动作值函数
$$q_{\ast }(s,a)=\underset{\pi }{\max }{q}_{\pi }(s,a)$$
最优策略
存在一个最优策略，使得
$${\pi }_{\ast }\ge any\pi$$
所有最优策略都能取得最优状态、动作值函数
注：若$v_{{\pi }^{\prime }}(s)\ge v_{\pi }(s)$则${\pi }^{\prime }＞\pi$
$${\pi }_{\ast }(a|s)=\{\begin{array}{ll}1,& ifa=\underset{a\in A}{\mathrm{argmax}}{q}_{\ast }(s,a)\\ 0,& otherwise\end{array}$$

贝尔曼最优方程

目标为，

得到迭代式，

求解方案有：值迭代、策略迭代、Q-Learning、Sarsa等

二、价值迭代求解

1、回顾

策略：是给定状态的动作分布$\pi (a|s)=P[A_t=a|S_t=s]$随机变量，其中策略依赖于当前状态（无关历史）；也是固定的（无关时间），$A_t\sim \pi (\cdot |S_t)$，任意$t>0$

2、算法

算法参数：小阈值$\theta >0$；初始化$V(s)$，初值为0。

Loop：
  $△\leftarrow 0$
  Loop for each $s\in S$:
    $v\leftarrow V(s)$
    $V(s)\leftarrow {\max }_a{\sum }_{s^{\prime },r}p(s^{\prime },r|s,a)[r+\gamma V(s^{\prime })]$
    $△\leftarrow \max (△,|v-V(s)|)$
until $△<\theta$

输出确定的策略，$\pi \approx {\pi }_{\ast }$，$$\pi (s)=\underset{a}{\mathrm{argmax}}\sum _{s^{\prime },r}p(s^{\prime },r|s,s)[r+\gamma V(s^{\prime })]$$

3、案例

案例1

此处R为-1，γ为 1。

“公主”处没有下一状态，因此V(s)=0。

最终收敛为，

案例2

$${\mathbf{V}}_{\pi }(s)=\sum _{a\in A}\pi (a\mid s)\left[R_s^a+\gamma \sum _{s^{\prime }\in S}{P}_{s{s}^{\prime }}^a{V}_{\pi }\left(s^{\prime }\right)\right]$$
可得，
$$\begin{array}{ll}{V}_{\pi }\left(S_1\right)=40\%\left(5+0.5V_{\pi }\left(S_2\right)\right)+60\%\left(12+0.5V_{\pi }\left(S_4\right)\right)& V_{\pi }\left(S_6\right)=100\%\left(0+0.5V_{\pi }\left(S_5\right)\right)\\ V_{\pi }\left(S_2\right)=60\%\left(-5+0.5V_{\pi }\left(S_3\right)\right)+40\%\left(0+0.5V_{\pi }\left(S_5\right)\right)& V_{\pi }\left(S_5\right)=100\%\left(5+0.5V_{\pi }\left(S_4\right)\right)\\ V_{\pi }\left(S_3\right)=100\%\left(10+0.5V_{\pi }\left(S_6\right)\right)& V_{\pi }\left(S_4\right)=0\end{array}$$
到的结果，

计算最优价值，

三、策略迭代求解

1、回顾

状态价值函数的贝尔曼最优方程
$$v_{\ast }(s)=\underset{a}{\max }\left[R_s^a+\gamma \sum _{s^{\prime }\in S}{P}_{s{s}^{\prime }}^a{v}_{\ast }\left(s^{\prime }\right)\right]$$
动作价值函数的贝尔曼最优方程
$$q_{\ast }(s,a)=R_s^a+\gamma \sum _{s^{\prime }\in S}{P}_{s{s}^{\prime }}^a\underset{a^{\prime }}{\max }{q}_{\ast }\left(s^{\prime },a^{\prime }\right)$$

2、算法

初始化：
小阈值$\theta >0$；初始化$V(s)$，初值可以为0；初始化$\pi (s)$。

策略评估：
Loop：
  $△\leftarrow 0$
  Loop for each $s\in S$：
    $v\leftarrow V(s)$
    $V(s)\leftarrow {\max }_a{\sum }_{s^{\prime },r}p(s^{\prime },r|s,a)[r+\gamma V(s^{\prime })]$
    $△\leftarrow \max (△,|v-V(s)|)$
until $△<\theta$

策略提升：
$policy-stable\leftarrow true$
For each $s\in S$：
  $old-action\leftarrow \pi (s)$
  $\pi (s)\leftarrow \underset{a}{\mathrm{argmax}}{\sum }_{s^{\prime },r}p(s^{\prime },r|s,s)[r+\gamma V(s^{\prime })]$
  If $old-action\ne \pi (s)$,then $police-stable\leftarrow false$
If $police-stable$,then stop and return $V\approx v$ and $\pi \approx v{\pi }_{\ast }$;else go to “策略评估”

3、案例

案例1

此时，
state：王子的位置
action：向四个方向走一格（走出界返回原位，但消耗体力）
reward：体力损耗
discount factor：γ=1
policy：均匀随机策略
策略评估：

最终结果（取三次迭代，因为γ为一无法收敛）

策略提升：

得到结果，

然后再返回“策略评估”，如此往复，直至“策略”收敛。

四、雅克比迭代法解决自举问题

1、自举问题

根据上文，可知如下公式：

网格上每个点表示各自的状态；策略$\pi$采取均匀随机策略，因此每个方向都为25%；$R$为即时奖励；由于我们为确定性策略，因此$P$这一项都为1,。

问题出现了，想要计算蓝色，那么就要求黄色；想要求黄色，就需要计算蓝色。这样“你中有我，我中有你”，的问题，便是“自举问题”。

$$\begin{array}{c}V\left(s_1\right)=1+0.25V\left(s_2\right)+0.25V\left(s_3\right)+0.25V\left(s_4\right)+0.25V\left(s_5\right)\\ V\left(s_2\right)=1+0.25V\left(s_1\right)+0.25V\left(s_6\right)+0.25V\left(s_7\right)+0.25V\left(s_8\right)\\ V\left(s_3\right)=1+0.25V\left(s_1\right)+0.25V\left(s_7\right)+0.25V\left(s_9\right)+0.25V\left(s_{10}\right)\\ \dots ...\\ \mathbf{V}\left({\mathbf{s}}_{\mathbf{n}}\right)=\mathbf{b}+{\mathbf{a}}_1\mathbf{V}\left({\mathbf{s}}_{\mathbf{i}}\right)+{\mathbf{a}}_2\mathbf{V}\left({\mathbf{s}}_{\mathbf{j}}\right)+{\mathbf{a}}_3\mathbf{V}\left({\mathbf{s}}_{\mathbf{k}}\right)+{\mathbf{a}}_4\mathbf{V}\left({\mathbf{s}}_{\mathbf{l}}\right)\end{array}$$
由此可以得到矩阵形式：

2、雅克比迭代

列主原消去法

为线性代数的基本功，只适用于低阶稠密矩阵，故不再做赘述，案例如下：
$$\begin{array}{rl}& \left[\begin{array}{lll}1& 2& 3\\ 4& 5& 6\\ 7& 8& 8\end{array}\right]\left[\begin{array}{l}{x}_1\\ x_2\\ x_3\end{array}\right]=\left[\begin{array}{l}{b}_1\\ b_2\\ b_3\end{array}\right]\\ & 7x_1+8x_2+8x_3=b_3\\ & 0x_1+\frac{6}{7}{x}_2+\frac{13}{7}{x}_3=b_1-\frac{1}{7}{b}_3\\ & 0x_1+0x_2+\frac{7}{14}{x}_3=b_1-\frac{1}{2}{b}_2-\frac{3}{7}{b}_3\end{array}$$

雅克比迭代法

将上图右上角式子进一步简化，得到迭代式（直至收敛），
$$X\leftarrow JX+f$$
其中，谱半径$\rho (J)<1$。谱半径定义为：一个矩阵中特征值绝对值最大的那个值。

五、蒙特卡洛解决无模型强化学习

1、无模型

Markov决策过程中有五个符号$<S,A,P,R,\gamma >$
$S$：有限状态集合；
$A$：有限动作集合；
$P$：状态转移概率矩阵$P_{s{s}^{\prime }}^a=p(s_{t+1}=s^{\prime }|s_t=s,A_t=a)$；
$R$：奖励函数$R_S^a=E[R_{t+1}|S_t=s,A_t=a]$；
$\gamma$：折扣因子/衰减系数$\gamma \in [0,1]$。
此时只知道$S$和$A$，其他参数未知。

2、优势

（1）能从环境中交互学习，在模拟实验中学习，无环境模型。
（2）可以只聚焦于一个子状态空间，例如我们感兴趣的状态；方法理论上需要遍历所有状态空间
（3）不需要从其他值的模拟中迭代，不自举，如果马尔可夫属性不够，可以受到更小的影响

3、原理

经验平均

求平均：
$$\begin{array}{l}{Q}_1\left(s_0\right)=R\left(a\mid s_0\right)+\gamma R\left(a\mid s_1\right)+{\gamma }^{2}R\left(a\mid s_2\right)\\ Q_2\left(s_0\right)=R\left(a\mid s_0\right)+\gamma R\left(a\mid s_1\right)\end{array}\}Q\left(s_0\right)=\frac{Q_1\left(s_0\right)+Q_2\left(s_0\right)}{2}$$

首次访问/每次访问

如图，如果每次s1出现都记录，则被称为every-visit（每次访问）；只记录第一次出现，则被称为first-visit（首次访问）。

同策略/异策略

行为策略$\mu$（用于采样）
一般是温和的，保证一定的探索性。$\epsilon -greedy策略$如下
$$\pi (a\mid s)=\{\begin{array}{cl}1-\epsilon +\frac{\epsilon }{|A(s)|}& a={\mathrm{argmax}}_{a}Q(s,a)\\ \frac{\epsilon }{|A(s)|}& \text{ else }\end{array}$$
目标策略$\pi$（用于输出）
可温和可激进，是行为策略的子集。$greedy策略$如下
$$\pi (a\mid s)=\{\begin{array}{ll}1& a={\mathrm{argmax}}_{a}Q(s,a)\\ 0& \text{ else }\end{array}$$


上图左侧为同策略（on-policy），右侧为异策略（off-policy）。

批处理/增量式

批处理：batch for off-line，累加求平均值，空间换时间，更快。
增量式：increment for on-line，$\frac{上一阶段平均值\ast (N-1)+K_N}{N}$，其中N为个数，$K_N$为第N个数的数值。

4、案例

---

参考

做了一些勘误
马尔可夫决策MDP过程讲解，新手也能看懂！