强化学习理论——马尔科夫决策过程(MDP)

强化学习——马尔科夫决策过程(MDP)

1、MDP引入

1.1、强化学习引入

对于强化学习而言，其有几个基本的组成部件：

1. 环境：所谓的环境，就是指我们用于强化学习的数据。
2. 智能体：无论是任何的学习方式，我们都可以将其抽象成一个模型在寻找最佳参数的过程，在强化学习中，我们将模型抽象成一个“有思想的智能体”。模型学习最佳参数的过程可以抽象成一个智能体在寻找最优回报的过程。
3. 动作：在强化学习中，智能体与环境之间的交互称为“动作”。
4. 回报：强化学习的目标就是寻找一个最优回报，我们可以将回报类比成其他学习中的误差，只不过其他学习的过程的目标是最小化误差，而强化学习的过程需要最大化这种“误差”。
5. 状态：智能体在不断的探索的过程中，每一个时刻会处于一个“状态”。

总结一下，所谓的强化学习，就是指智能体采用某种动作和环境进行交互，进而环境会给予智能体一个回报来引起智能体的状态发生改变。通过不断的迭代过程，为智能体选择一个最优回报的过程。我们用图来总结下这个过程：

1.2 马尔科夫决策过程引入

在了解了强化学习的基本组件和学习过程之后，我们可以发现，强化学习的基本方式和有监督、无监督学习还是由很大的差别的。对于有、无监督的学习过程，有很多的模型框架来支持这两种学习方式的。比如SVM，K-means等等。那么是否有一个基本的框架来支持强化学习的过程呢？这就引出了我们下面要介绍的MDP决策过程。

在介绍MDP之前，让我们一起来回顾一下有关于马尔科夫的相关概念。

1. 马尔科夫性
   所谓的马尔科夫性是指状态序列的下一个状态仅仅和前一个状态相关。我们用公式来表示一下就是：
   $$P(S_{t+1}|S_1,S_2,S_3,...S_t)=P(S_{t+1}|S_t)$$

2. 马尔科夫过程
   马尔科夫过程由一个二元组(S,P)所构成，其中S表示的所有的状态集合，P表示的状态之间的转移的概率矩阵。具体的来说，马尔科夫过程是一个随机的过程，在给定状态转移概率的前提之后，我们可有根据状态转移的概率来获得多个状态转移的序列，每一个序列称为是一个马尔科夫链。我们下面举一个例子来说明一下：
   
   根据上图所示，我们可以获知到的状态的集合为S={娱乐，课1，课2，课3，论文，睡觉，考过}，共有七种状态。同时，根据边上的状态转移概率，我们可以总结出概率矩阵P。
   进一步，假设我们以课1为开始状态，则可以产生的马尔科夫链包括：
   课1->课2->睡觉
   课1->课2->课3->考过
   等等。

1.3 MDP介绍

在基本了解了马尔科夫的相关特性和马尔科夫过程之后，我们进一步来介绍MDP过程。对于一个马尔科夫决策过程而言，其一共包含以下几个组件。

1. S：有限状态集合
2. A：有限动作集合
3. P：状态转移的概率矩阵。
4. R：回报函数
5. γ：折扣因子，用来计算累积回报。

在我们之前计算的马尔科夫过程中，整个过程是通过状态转移转移的概率和状态的集合来生成状态序列。而在MDP中，我们需要考虑的不仅仅包括状态和转移概率，还考虑了状态所采取的动作。也就是说，在MDP中，状态的转移是根据前一个状态和前一个状态所采用的动作两个部分共同决定的。用公式表示就是：

$$P_{ss}^a=P(S_{t+1}|S_t=s,A_t=a)$$

在理解了MDP的转移过程之后，我们下面以一个例子来说明一下这种状态转移的过程。

根据上图所示，我们可以抽象出相关MDP的基本元素包括：

S = { S 1 , S 2 , S 3 , S 4 , S 5 } S=\{S_1,S_2,S_3,S_4,S_5\} S={S1​,S2​,S3​,S4​,S5​}
A = { 玩 ， 退 出 ， 学 习 ， 睡 觉 ， 发 表 } A=\{玩，退出，学习，睡觉，发表\} A={玩，退出，学习，睡觉，发表}
$回报函数R。$
$状态转移概率矩阵P。$
$这里关于折扣因子\gamma 可以在计算的过程中定义即可。$

1.4 策略π

当使用MDP来描述强化学习的时候，强化学习的目标是在给定一个MDP的基础上寻找最优的：策略。那么什么是策略呢？

所谓的“策略”，指的是在给定一个状态S之后，在这个状态S上能产生的动作集的一个分布。策略通常采用π来表示。那我们上面描述的例子来说，当处于状态$S_3$的时候，其能够采用的动作包括“睡觉”和“学习”两种，而策略π就可以描述这两个动作的概率分布。用公式来描述就是：

$$\pi (a|s)=P(A_t=a|S_t=s)$$

1.5 累积回报与状态—值函数

在1.4中我们提到了，强化学习在MDP上的目标是为了寻找一个最优的策略，那么如何来衡量策略的最优性呢？这就引出来我们下面要介绍的“累积回报”。

假设我们给定当前状态$S_t$和一个策略π，我们可以计算关于策略π的累积回报来对于策略π进行评价。

首先，我们定义累积回报的基本形式：
$$G_t=R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+,...=\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}$$
我们来简单的理解一下这个公式，在当前状态$S_t$下，随着动作的不断发生，智能体不断的和环境产生交互，不断的从从环境中获取到环境的回报值。利用折扣因子γ，对于之后每一个时刻的回报值进行调节，并将调节之后的回报值进行累加。最终获取到回报的累加和。我们利用举一个例子来说明一下：

假设从状态$S_1$开始，其可能生成的状态序列包括：
$S_1->S_2->S_3->S_4$
$S_1->S_2->S_3->S_5$

可以发现，从某一个状态开始，可以产生多个状态序列，进一步，我们可以计算出来多个$G_1$值，也就是说，对于累积回报$G_t$而言，由于不同的状态序列。则其本身也是随机的。显然，我们不可能利用一个随机值去衡量一个策略的优劣。所以，为了使用累积回报去衡量策略，我们对于累积回报取其期望值来消除这种随机性。则有：

$$V_{\pi }(s)=E_{\pi }(\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}|S_t=s)$$
我们将这种期望称为状态—值函数。策略π决定了累积回报值的分布情况，也就是说状态值函数与策略π是对应的。

1.7 状态—行为值函数

在我们之前的介绍中，讲述了MDP的状态转移是由两个部分决定的，第一个部分是前一个时刻的状态$S_t$，另外一个是前一个时刻所采用的动作$A_t$。用一个图来展示一下这个过程：

根据上面的图示，我们可以将状态转移里理解为两个过程，第一个过程是处于当前的状态$S_t$，也就是第一个点，第二个过程是采用动作$A_t$，最后转移到了下一个状态$S_{t+1}$。

那么，我们定义的状态—值函数可以看做是最上面的圆的回报函数，那么我们是否可以为了第二个圆，也就是状态，动作来定义一个回报函数呢？答案当然是肯定的，下面就引出来这个状态—行为值函数。

$$q_{\pi }(s,a)=E_{\pi }(\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}|S_t=s,A_t=a)$$

相比于状态—值函数，状态—行为值函数引入了行为，刻画了上图中第二个圆的回报情况。

2、MDP求解

上面我们介绍了关于状态—值函数和状态—行为值函数的定义过程，接下来我们就是对于这两个函数进行求解的过程。

2.1 贝尔曼方程

首先，让我们从状态—值函数开始：

$$\begin{gathered} V(s)=E_{\pi }(\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}|S_t=s)= \\ \frac{}{} \\ {E}_{\pi }(G_t|S_t=s)= \\ \frac{}{} \\ {E}_{\pi }(R_{t+1}+\gamma (R_{t+2}+\gamma R_{t+3}+{\gamma }^2{R}_{t+4}+,...)|S_t=s)= \\ \frac{}{} \\ {E}_{\pi }(R_{t+1}+\gamma G_{t+1}|S_t=s)=E_{\pi }(R_{t+1}+\gamma V(S_{t+1})|S_t) \end{gathered}$$

进一步，我们可以推导出关于$q_{\pi }(s,a)$的贝尔曼方程为：

$$\begin{gathered} q_{\pi }(s,a)=E_{\pi }(\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}|S_t=s,A_t=a)= \\ \frac{}{} \\ {E}_{\pi }(R_{t+1}+\gamma (R_{t+2}+\gamma R_{t+3}+{\gamma }^2{R}_{t+4}+,...|S_{t+1},A_{t+1})|S_t=s,A_t=a)= \\ \frac{}{} \\ {E}_{\pi }(R_{t+1}+\gamma q(S_{t+1},A_{t+1})|S_t=s,A_t=a) \end{gathered}$$

2.2 状态—值和状态—行为值的融合过程

在推导出状态—值函数的贝尔曼方程和状态—行为值的贝尔曼方程之后，我们下面要将两种方程融合到一起来表示最终的状态累积回报。下面我们从一个图开始介绍：

在上图中，定义了两种动作和对应产生的不同状态。我们沿着最左侧的状态来看，对于当前的状态$S_t=s$，我们假设其产生的累积回报的期望为$V_{\pi }(s)$，进一步其采取的是动作$a_1$，在该条件下产生的累积回报的期望为$q_{\pi }(s,a)$，在采取了动作$a_1$之后，其转移到状态$s^{\prime }$之上，那么在$s^{\prime }$处产生的回报为$V_{\pi }(s^{\prime })$。

则，我们可以对状态s的回报看成是两个部分，第一个部分是采取动作a之后产生的状态——行为回报，另外一个部分是状态转移之后，下一个状态$s^{\prime }$的回报情况。用图来表示就是：

在状态—行为值函数中，包含了之后的状态的回报，所以，我们可以将当前的状态的回报看做是状态——行为函数的反馈。则根据当前状态s可以产生的不同的行为，我们可以定义状态——值函数为：
$$V_{\pi }(s)=\sum _{a\in A}\pi (a|s)q_{\pi }(s,a)$$
而其中的状态—行为值函数可以定义为：
$$q_{\pi }(s,a)=R_s^a+\gamma \sum _{s^{\prime }}{P}_{ss}^a{V}_{\pi }(s^{\prime })$$
其中，$R_s^a$表示当前状态采取动作a的立即回报，也就是$R_{t+1}$，$P_{ss}^a$表示的在动作a和当前状态s之下的状态转移概率，$s^{\prime }$表示的是当前状态在采用动作a的条件下可以转移到的所有状态。进一步，我们将$V_{\pi }(s^{\prime })$展开之后有：
$$V_{\pi }(s^{\prime })=\sum _{a^{\prime }\in A}\pi (a^{\prime }|s^{\prime })q_{\pi }(s^{\prime },a^{\prime })$$

将上面的式子融合一下就得到了最终的状态—值函数为：

$$V_{\pi }(s)=\sum _{a\in A}\pi (a|s)[R_s^a+\gamma \sum _{s^{\prime }}{P}_{ss}^a{V}_{\pi }(s^{\prime })]$$

最终的状态—行为值函数定义为：
$$q_{\pi }(s,a)=R_s^a+\gamma \sum _{s^{\prime }}{P}_{ss}^a\sum _{a^{\prime }\in A}\pi (a^{\prime }|s^{\prime })q_{\pi }(s^{\prime },a^{\prime })$$

2.3 总结

对于基于MDP的强化学习而言，我们的目标是为了寻找最优策略π，并且我们已经定义了关于π的评价函数，那么下面我们总结一下这个过程。
1.获取最优策略${\pi }^{\ast }$
定义：最优的状态—值函数$V^{\ast }(s)$为在所有的策略中最大的状态值函数，也就是有：
$$V^{\ast }(s)=ma{x}_{\pi }{V}_{\pi }(s)$$，
定义最优的状态—行为值函数$q^{\ast }(s,a)$为在所有的策略中最大的状态—行为值函数，即：
$$q^{\ast }(s,a)=ma{x}_{\pi }{q}_{\pi }(s,a)$$
在通过上面的推导过程获取到最优的状态—行为值函数之后，最优策略可以通过直接最大化$q^{\ast }(s,a)$来决定最优策略${\pi }^{\ast }$：
$${\pi }^{\ast }(a|s)=\{\begin{array}{ll}1& ifa=argma{x}_{a\in A}{q}^{\ast }(s,a)\\ 0& otherwise\end{array}$$
2. 定义离散MDP
首先，我们定义一个离散的马尔科夫决策过程M=(S,A,P,r,ρ,γ,T)，其中S,A,P分别表示有限的状态集合，有限的动作集合，状态转移概率，ρ表示初始的状态分布，r表示立即回报集合。T表示整个过程的时间长度。γ为折扣因子。
令$\tau =(s_0,a_0,s_1,a_1,....)$为一个转移过程的序列集合。累积回报为$R={\sum }_{t=0}^T{\gamma }^t{r}_t$强化学习的目标是寻找最优策略π，使得该策略下的累积回报期望最大，也就是：

$$ma{x}_{\pi }\int R(\tau )P_{\pi }(\tau )d\tau$$

3 参考

1. 深入浅出的强化学习——原理入门