强化学习 马尔科夫决策过程（价值迭代、策略迭代、雅克比迭代、蒙特卡洛）

---

一、马尔科夫过程Markov Decision Process（MDP）

1.简介

定义：无记忆的随机过程。

2、Markov 特性

1.历史状态h_t={s₁,s₂,s₃,……,s_t}
2.状态s_t有且仅有：
p ( s_t+1 | s_t )=p ( s_t+1 | h_t )
p ( s_t+1 | s_t , a_t )=p ( s_t+1 | h_t , a_t )
3.“考虑到现在，未来是独立于过去的”

---

3、Markov 奖励过程

符号表示

有四个符号$<S,P,R,\gamma >$
$S$：有限状态集合；
$P$：状态转移概率矩阵$P_{s{s}^{\prime }}=p(s_{t+1}=s^{\prime }|s_t=s)$；表现为，既当前状态为$s_t=s$时，下一个状态变为$s_{t+1}=s^{\prime }$的概率。

$R$：奖励函数$R_S=E[R_{t+1}|S_t=s]$ ，既状态单次转换取得的收益；如下图所示

$\gamma$：折扣因子/衰减系数$\gamma \in [0,1]$。

回报：$G_t$是从时间$t$开始的总折扣奖励，如下式
$$G_t=R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+...=\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}$$
值函数：$V(s)$表示一个状态$s$的长期价值$V(s)=E[G_t|S_t=s]$，如下图所示

MRPs的贝尔曼方程

已知，
$$G_t=R_{t+1}+\gamma G(S_{t+1})$$
可得，
$$V(s)=E[R_{t+1}+\gamma V(S_{t+1})|S_t=s]$$
已知，
$$\begin{gathered} R_S=E[R_{t+1}|S_t=S] \\ {P}_{s{s}^{\prime }}=P[S_{t+1}=s^{\prime }|S_t=s] \end{gathered}$$
可得，
$$V(s)=R_S+\gamma \sum _{s^{\prime }\in S}{P}_{s{s}^{\prime }}V(s^{\prime })$$
矩阵形式如下，

$$\begin{gathered} V=R+\gamma PV \\ (1-\gamma P)V=R \\ V=(1-\gamma P{)}^{-1}R \end{gathered}$$
常用求解方法有动态规划、蒙特卡洛评估、时序差分学习等。

4、Markov决策过程

符号表示

有五个符号$<S,A,P,R,\gamma >$
$S$：有限状态集合；
$A$：有限动作集合；
$P$：状态转移概率矩阵$P_{s{s}^{\prime }}^a=p(s_{t+1}=s^{\prime }|s_t=s,A_t=a)$；状态转移矩阵 P 表现为，既当前状态为$s_t=s$时，下一个状态变为$s_{t+1}=s^{\prime }$的概率。
$R$：奖励函数$R_S^a=E[R_{t+1}|S_t=s,A_t=a]$ ，既状态单次转换取得的收益；
$\gamma$：折扣因子/衰减系数$\gamma \in [0,1]$。
策略：$\pi$为给定状态的动作分布$\pi (a|s)=P[A_{}$