【详解+推导！！】马尔可夫决策过程

马尔可夫决策过程， Markov Decision Process, MDP

一、为什么需要马尔可夫决策过程？

上图所展示的是强化学习的基本框架，描述的是智能体（Agent）与环境（Environment）交互的过程，在训练过程中，大致过程如下：

1. 智能体会根据当前的环境状态S(state)做出决策，决定接下来采取动作A(action)；
2. 环境会根据智能体的动作A给予反馈R（或者说奖励Reward），并且由于该动作的产生，由状态S转换到S‘；
3. 智能体在与环境不断的交互过程中产生大量的S、A、R的数据，以实际任务目标为导向，基于这些数据强化学习算法可以让智能体做出更正确的决策，也就是学习出了策略。

马尔可夫决策过程就是通过数学方式描述上述的过程，是强化学习的基础和核心。

二、马尔可夫决策过程

1. 马尔可夫性

• 马尔可夫性是指系统的下一个状态$S_{t+1}$仅与当前状态$S_t$有关，而与之前的状态无关；
• 马尔可夫性描述的是每一个状态的性质；
• 可以这样理解，$S_t$包含了之前全部状态$S_1$，$S_2$，…，$S_{t-1}$的全部信息，只要知道$S_t$，之前的历史信息就可以抛弃了；

2. 随机过程

• 在使用中重要的是如何描述一个状态序列；
• 而数学中用来描述随机变量序列的方式就是随机过程；
• 如果这个随机过程中的每个状态都是符合马尔可夫性的，那么则称这个随机过程为马尔可夫随机过程。

3. 马尔可夫过程

• 马尔可夫过程定义为：$(S,P)$；
• 其中$S$是有限状态集，$P$是状态转移概率（是一个矩阵，描述了$S$中每一种状态到领一种状态的转移概率）；
• 下图展示了一名学生的7种状态，以及每种状态之间的转换概率：
• 所以某一名同学一天的状态可能为“课1-课2-课3-考过-睡觉”，这样一组状态序列可以称为马尔科夫链；
• 由此也可以看出，从一个状态出发，我们选择不同的动作，可以产生多组马尔可夫链。

4. 马尔可夫决策过程

• 在马尔可夫过程的基础上加上动作和反馈就是马尔可夫决策过程；
• 马尔可夫决策过程定义为：$(S,A,P,R,\gamma )$;
• $S$为有限状态集；$A$为有限动作集；$P$为状态转移概率；$R$为回报函数；$\gamma$为折扣因子（用来计算累积回报）；

三、策略与累计回报

1. 策略

• 强化学习的目标就是给定一个马尔可夫决策过程，去寻找最优的策略；
• 我们可以把策略理解为在状态$s$下选择某一个动作$a$的概率；
• 策略通常用符号$\pi$来表示；
• 数学形式表示为：$\pi (a|s)=p[A_t=a|S_t=s]$
• 含义为：策略$\pi$在每个状态$s$指定一个每个动作$a$的发生概率；
• 如果策略$\pi$是确定的，那么策略$\pi$在每个状态下的每个动作的概率都是确定的。

2. 累计回报

• 已知马尔可夫决策过程$(S,A,P,R,\gamma )$，我们可以设定各种各样的策略$\pi$，而强化学习的目标就是从众多的策略中选择回报最大的策略，为了评价每种策略$\pi$的回报值，定义了累计回报。
• 给定策略$\pi$，从状态$s_1$出发可能产生若干马尔可夫链,如：“$s_1-s_2-s_3-s_4-s_5$”，或者“$s_1-s_2-s_3-s_5$”，针对某一条确定的马尔可夫链，我们可以计算该链的累计回报：
  $$G_1=R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}=\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}$$
• 但是由于策略$\pi$具有随机性，所以对于某一个状态$s$我们可以画出无限多条马尔可夫链，也就可以计算出无限多个累计回报$G_1$；
• 为了评价某一个状态$s$的回报价值，我们将状态$s$的累计回报的期望作为评价指标，称为值函数。

四、值函数

1. 值函数

• 当智能体针对一个已知的马尔科夫决策过程，采用了策略$\pi$，那么将累积回报在状态$s$处的期望值定义为“状态-值函数”：
  $$\begin{array}{rl}\nu (s)& =E_{\pi }\left[\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}|S_t=s\right]\\ & =E_{\pi }\left[R_{t+1}+\gamma \nu (S_{t+1})|S_t=s\right]\end{array}\text{\hspace{1em}(1)}$$

• 将累计回报在状态$s$处采取了行为$a$的期望定义为“状态-行为值函数”：
  $$\begin{array}{rl}{q}_{\pi }(s,a)& =E_{\pi }\left[\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}|S_t=s,A_t=a\right]\\ & =E_{\pi }\left[R_{t+1}+\gamma \nu (S_{t+1})|S_t=s,A_t=a\right]\end{array}\text{\hspace{1em}(2)}$$

2. “状态值函数”与“状态-行为值函数”

• 二者关系的推导：
  • 如图2.5B所示，$s$处的状态值函数等于策略$\pi$在状态$s$下，选择每一种行为$a$的概率$\pi (a|s)$与$(s,a)$处的状态-行为值函数$q_{\pi }(s,a)$的乘积的累加，数学形式如下：
    $${\nu }_{\pi }(s)=\sum _{a\in A}\pi (a|s)q_{\pi }(s,a)\text{\hspace{1em}(3)}$$
  • 如图2.5C所示，$(s,a)$处的状态-行为值函数，等于该处的反馈$R_s^a$加上，折扣因子乘以，每种状态$s^{\prime }$的概率$P_{s{s}^{\prime }}^a$乘上状态$s^{\prime }$处的状态值函数${\nu }_{\pi }(s^{\prime })$的累加，数学形式如下：
    $$q_{\pi }(s,a)=R_s^a+\gamma \sum _{s^{\prime }\in S}{P}_{s{s}^{\prime }}^a{\nu }_{\pi }(s^{\prime })\text{\hspace{1em}(4)}$$
• 公式(1)的推导：
  • 将公式(4)带入公式(3)得到：
    $${\nu }_{\pi }(s)=\sum _{a\in A}\pi (a|s)\left(R_s^a+\gamma \sum _{s^{\prime }\in S}{P}_{s{s}^{\prime }}^a{\nu }_{\pi }(s^{\prime })\right)$$
• 公式(2)的推导：
  
  • 如上图C所示，将$S=s^{\prime }$带入公式(3)可得：
    $${\nu }_{\pi }(s^{\prime })=\sum _{a^{\prime }\in A}\pi (a^{\prime }|s^{\prime })q_{\pi }(s^{\prime },a^{\prime })\text{\hspace{1em}(5)}$$
  • 将公式(5)带入公式(4)可得：
    $$q_{\pi }(s,a)=R_s^a+\gamma \sum _{s^{\prime }\in S}{P}_{s{s}^{\prime }}^a\sum _{a^{\prime }\in A}\pi (a^{\prime }|s^{\prime })q_{\pi }(s^{\prime },a^{\prime })$$
• 举个例子
  
  • 如上图所示，$s_4$的状态值函数$\nu (s_4)=7.4$计算过程如下：
    $$\begin{array}{rl}\nu (s_4)& =0.5\ast 10+0.5\ast (1+0.2\ast (-1.3)+0.4\ast (2.7)+0.4\ast 7.4)\\ & =7.39\approx 7.4\end{array}$$

五、什么是强化学习算法？

• 定义一个离散时间、有限范围内的折扣马尔科夫决策过程：$M=(S,A,P,r,{\rho }_0,\gamma ,T)$，其中$r$为立即回报函数，${\rho }_0$为初始状态分布，$T$为水平范围（步数限制，正因此如此叫做折扣）；
• 定义$\tau$为一个轨迹序列，$\tau =(s_0,a_0,s_1,a_1,...)$；
• $\tau$的累计回报为$R={\sum }_{t=0}T{\gamma }^t{r}_t$；
• 而强化学习算法的目标就是找到一个策略$\pi$，最大化累计回报，也就是：
  $$\pi =\underset{\pi }{\mathrm{argmax}}\int R(\tau )p_{\pi }(\tau )d\tau$$