[强化学习] 有限马尔科夫决策过程

写在前面

强化学习系列博客主要学习sutton的书，有些内容来自Google DeepMind的David Silver的PPT，再此声明。

一、马尔可夫过程

如上图所示，在强化学习的过程中，Agent与Environment一直交互。在时刻$t$，Agent接收来自环境的状态$S_t$，并基于$S_t$采取行动$A_t$，$A_t$作用在环境上，Agent接收一个奖励$R_{t+1}$和新的状态$S_{t+1}$，…，由此产生一个序列：
$$S_0,A_0,R_1,S_1,A_1,R_2,...$$

马尔科夫性质是未来与过去无关，只和现在有关（The feature is independent of the past given the present）。马尔科夫决策过程把序列决策过程公式化，有了马尔科夫假设，此序列问题会变得更加简单。假设状态$S_t$具有马尔科夫性质，则：
$$P[S_{t+1}|S_t]=P[S_{t+1}|S_1,S_2,...,S_t]$$

直观上讲，强化学习的下一个状态的产生跟所有历史状态是有关的。但是Markov假设当前状态信息包含了所有相关的历史，只要当前状态已知，所有的历史信息都可以扔掉，当前状态就可以决定未来。

具有Markov性质的RL序列过程，状态$s$到下一个状态$s^{\prime }$之间的状态转移概率定义为：
$$P_{s{s}^{\prime }}=P[S_{t+1}=s^{\prime }|S_t=s]$$

状态转移矩阵$P$：
$$P=\left[\begin{array}{ccc}{P}_{11}& ...& P_{1n}\\ ...& ...& ...\\ P_{n1}& ...& P_{nn}\end{array}\right]$$

马尔可夫过程：

若随机过程满足马尔科夫性，则称为马尔可夫过程，可以用一个二元组$<S,P>$，其中$S$是有限数量的状态集，$P$是状态转移概率矩阵。

二、马尔可夫决策过程

现在我们首先来看一下之前讲的强化学习的相关知识，强化学习基于奖励假设，即强化学习的目标是最大化期望累积奖励。

下面先回顾几个定义：

回报（Return）的公式：$G_t=R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+...={\sum }_{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}$，其中$\gamma$是衰减因子，具体这个公式的解释详见blog：[强化学习] 概念、举例、分类

策略（Policy）公式：$\pi (a|s)=P[A_t=a|S_t=s]$
确定性策略：$a=\pi (s)$
随机策略：$\pi (a|s)=P[A_t=a|S_t=s]$
关于策略的具体解释，详见上述blog。

因此，强化学习的马尔科夫决策过程是一个五元组$<S,A,P,R,\gamma >$，其中$A$表示动作集，$R$表示奖励集，$\gamma$表示折扣因子。

如上图，强化学习的马尔可夫指的是：在$t$时刻下，状态$S_t$只和$t-1$时刻的状态$S_{t-1}$以及动作$A_{t-1}$有关，而和历史状态和动作无关。

下面看下马尔可夫过程的一些概念：
p ( s ′ , r ∣ s , a ) = P r { S t = s ′ , R t = r ∣ S t = 1 = s , A t − 1 = a } p ( s ′ ∣ s , a ) = P r { S t = s ′ ∣ S t = 1 = s , A t − 1 = a } = ∑ r ∈ R p ( s ′ , r ∣ s , a ) r ( s , a ) = E [ R t ∣ S t − 1 = s , A t − 1 = a ] = ∑ r ∈ R r ∑ s ′ ∈ S p ( s ′ , r ∣ s , a ) r ( s , a , s ′ ) = E [ R t ∣ S t − 1 = s , A t − 1 = a , S t = s ′ ] = ∑ r ∈ R r p ( s ′ , r ∣ s , a ) p ( s ′ ∣ s , a ) \begin{aligned} &p(s',r|s,a) = Pr\{S_t=s',R_t=r|S_{t=1}=s, A_{t-1}=a\} \\ &p(s'|s,a) = Pr\{S_t=s'|S_{t=1}=s, A_{t-1}=a\} = \sum_{r \in \mathcal{R}} p(s',r|s,a) \\ &r(s,a)=\mathbb{E}[R_t|S_{t-1}=s, A_{t-1}=a] = \sum_{r \in \mathcal{R}} r \sum_{s' \in \mathcal{S}} p(s',r|s,a) \\ &r(s,a,s')=\mathbb{E}[R_t|S_{t-1}=s, A_{t-1}=a,S_t=s'] = \sum_{r \in \mathcal{R}}r \frac{p(s',r|s,a)}{p(s'|s,a)} \end{aligned} ​p(s′,r∣s,a)=Pr{St​=s′,Rt​=r∣St=1​=s,At−1​=a}p(s′∣s,a)=Pr{St​=s′∣St=1​=s,At−1​=a}=r∈R∑​p(s′,r∣s,a)r(s,a)=E[Rt​∣St−1​=s,At−1​=a]=r∈R∑​rs′∈S∑​p(s′,r∣s,a)r(s,a,s′)=E[Rt​∣St−1​=s,At−1​=a,St​=s′]=r∈R∑​rp(s′∣s,a)p(s′,r∣s,a)​​

其中，$p$表示概率，$r$表示回报。所以基于马尔科夫过程的强化学习的流程为：在$t$时刻，Agent基于状态$S_t$，根据策略$\pi (a|s)$采样出动作$A_t$，然后根据状态转移概率$p(s^{\prime }|s,a)$，产生新的状态$S_{t+1}$，Agent可以接收到一个奖励$R_{t+1}$，…，以此不断运行直到终止。

三、价值函数

1、价值函数

状态价值函数： 定义$v_{\pi }(s)$是基于策略$\pi$的状态价值函数，表示从当前的状态开始，遵循当前策略所获得的期望累积奖励，其在执行策略$\pi$时，用来衡量Agent处在状态$s$时的价值，则对于所有的$s\in \mathcal{S}$：
$$v_{\pi }(s)\doteq \mathbb{E}[G_t|S_t=s]={\mathbb{E}}_{\pi }[\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}|S_t=s]$$

行为价值函数： 定义$q_{\pi }(s,a)$为行为价值函数，表示在执行策略$\pi$时，在状态$s$条件下执行Action为$a$的期望累积奖励，衡量状态$s$时采取Action $a$的价值：
$$q_{\pi }(s,a)\doteq \mathbb{E}[G_t|S_t=s,A_t=a]={\mathbb{E}}_{\pi }[\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}|S_t=s,A_t=a]$$

2、贝尔曼方程

（1）在策略$\pi$下，状态$s$的价值为在该状态下遵循某一策略而采取所有可能行为的价值按行为发生概率的乘积求和。

$$v_{\pi }(s)=\sum _{a\in \mathcal{A}}\pi (a|s)q_{\pi }(s,a)$$

（2）在策略$\pi$下，一个状态采取一个行动的价值可以分为两部分：i）离开这个状态得到的奖励。ii）所有进入新的状态的价值和其状态转移概率乘积之和。

$$q_{\pi }(s,a)={\mathcal{R}}_s^a+\gamma \sum _{s^{\prime }\in \mathcal{S}}{\mathcal{P}}_{s{s}^{\prime }}^a{v}_{\pi }(s^{\prime })$$

（3）状态价值：

$$v_{\pi }(s)=\sum _{a\in \mathcal{A}}\pi (a|s)({\mathcal{R}}_s^a+\gamma \sum _{s^{\prime }\in \mathcal{S}}{\mathcal{P}}_{s{s}^{\prime }}^a{v}_{\pi }(s^{\prime }))$$

（4）状态-行为价值：

$$q_{\pi }(s,a)={\mathcal{R}}_s^a+\gamma \sum _{s^{\prime }\in \mathcal{S}}{\mathcal{P}}_{s{s}^{\prime }}^a\sum _{a^{\prime }\in \mathcal{A}}\pi (a^{\prime }|s^{\prime })q_{\pi }(s^{\prime },a^{\prime })$$

3、示例

示例来自sutton的书，下图所示是一个简单的有限MDP，网络中的每个格子代表的是环境中的状态。在每个格子中，有四个可选的动作：东、南、西和北，每个动作都会使得智能体在对应的方向上前进一格。如果采取的动作使得其不在网格内，则智能体会在原位置上不移动，并且得到一个值为-1的收益。除了将智能体从特定的状态A和B移走的动作外，其他动作的收益都是0。在状态A中，四种动作都会得到一个+10的收益，并且把智能体移动到A’。在状态B中，四种动作都会得到一个+5的收益，并且把智能体移动到B’。

假设个体在所有状态中以相等的概率选择所有四个动作。右显示了该策略的值函数$v_{\pi }$， 对于这个策略，衰减因子$\gamma =0.9$。右图价值由公式$v_{\pi }(s)={\sum }_{a\in \mathcal{A}}\pi (a|s)({\mathcal{R}}_s^a+\gamma {\sum }_{s^{\prime }\in \mathcal{S}}{\mathcal{P}}_{s{s}^{\prime }}^a{v}_{\pi }(s^{\prime }))$得到。

这里以第三行第三列数字0.7为例，其计算方式为：$0.7\approx 0.25\ast (0+0.9\ast 1\ast 2.3)+0.25\ast (0+0.9\ast 1\ast 0.7)+0.25\ast (0+0.9\ast 1\ast 0.4)+0.25\ast (0+0.9\ast 1\ast (-0.4))$

注意这里有前提条件是：假设个体在所有状态中以相等的概率选择所有四个动作。因此，对于所有的$a$，$\pi (a|s)=0.25$。在选择某个动作之后，${\mathcal{P}}_{s{s}^{\prime }}^a=1$，比如当选择向上的动作时，其状态只有唯一的选择。

四、最优策略

1、最优策略

对于任意马尔科夫过程来说：

（1）存在最优的策略${\pi }_{\ast }$，${\pi }_{\ast }$优于其他所有的策略，即${\pi }_{\ast }\ge \pi ，\forall \pi$
（2）所有最优策略会得到最优的价值函数，即$v_{{\pi }_{\ast }}(s)=v_{\pi }(s)$
（3）所有最优策略会得到最优的行为-价值函数，即$q_{{\pi }_{\ast }}(s,a)=q_{\pi }(s,a)$

最优的策略${\pi }_{\ast }$的状态价值函数叫做最优状态价值函数，记作$v_{\ast }(s)$：$v_{\ast }(s)\doteq ma{x}_{\pi }{v}_{\pi }(s)$

最优的策略${\pi }_{\ast }$的行为-状态价值函数叫做最优行为-状态价值函数，记作$q_{\ast }(s,a)$：$q_{\ast }(s,a)\doteq ma{x}_{\pi }{q}_{\pi }(s,a)$

因此，我们可以根据$q_{\ast }(s,a)$得到最优的策略：
$${\pi }_{\ast }(a|s)=\{\begin{array}{cc}1& ifa=agrma{x}_{a\in \mathcal{A}}{q}_{\ast }(s,a)\\ 0& otherwise\end{array}$$
任何MDP都有一个最优的policy。

2、贝尔曼最优方程

（1）最优策略：

$$v_{\ast }(s)=ma{x}_a{q}_{\ast }(s,a)$$

（2）最优行动-价值函数：

$$q_{\ast }(s,a)={\mathcal{R}}_s^a+\gamma \sum _{s^{\prime }\in \mathcal{S}}{\mathcal{P}}_{s{s}^{\prime }}^a{v}_{\ast }(s^{\prime })$$

（3）最优策略：

$$v_{\ast }(s)=ma{x}_a{\mathcal{R}}_s^a+\gamma \sum _{s^{\prime }\in \mathcal{S}}{\mathcal{P}}_{s{s}^{\prime }}^a{v}_{\ast }(s^{\prime })$$

（4）最优行动-价值函数：

$$q_{\ast }(s,a)={\mathcal{R}}_s^a+\gamma \sum _{s^{\prime }\in \mathcal{S}}{\mathcal{P}}_{s{s}^{\prime }}^{a}ma{x}_{a^{\prime }}{q}_{\ast }(s^{\prime },a^{\prime })$$

3、示例

在最后看下上面例子对应的最优策略，我们可以看到因为从$A\to A^{\prime }$可以得到10个奖励，从$B\to B^{\prime }$可以得到5个奖励，且如果当前状态在A或B，则一定会调到A’和B’。因此最优策略是走向A和B状态。