马尔可夫决策过程（MDP）

背景

马尔可夫决策过程（Markov Decision Process）是在马尔科夫链的基础上考虑reward和action，从而得出决策。即不同的action会得到不同的reward，而我们的目的是寻求最优的action序列，从而使reward达到最高。在一个决策任务中，假如我们将已经发生的所有状态都考虑进去，然后去评估下一个状态，那么就很难从理论上去进行推导，也很难在实际任务进行实现。所以从马尔科夫链的角度我们认为当前状态仅与前一个状态或前几个状态有关，这样会极大的简化我们的计算，同时由于之前的状态会考虑更前的状态，所以我们是可以这样假设的，即$P(s_{t+1}|s_t,s_{t-1},\dots ,s_1)=P(s_{t+1}|s_t)$。

其中$S_t$为当前状态，$S_{t+1}$为下一个状态，$A_t$是指在当前状态作出的action，$R_{t+1}$是指做了action（$A_t$）后得到的回报$R_{t+1}$。

动态特性

上图为整个马尔可夫决策的过程。这里我们可以定义一个函数，即$$p(s^{\prime },r|s,a)=Pr(S_{t+1}=s^{\prime },R_{t+1}=r|S_t=s,A_t=a)$$这里表示了，在不同的state和action的前提下，下一个state和reward的分布。不同的state和action会带来不同的reward和next state，所以体现了其动态性。同时我们可以得到状态转移函数$$p(s^{\prime }|s,a)=\sum _{r\in R}p(s^{\prime },r|s,a)$$这里$r$是看作一个关于$s,a$的一个随机变量，即在给定$s,a$后，$r$不是一个固定的值，而是一个关于$s,a$的离散分布。

价值函数

这里首先定义一个回报函数$G_t$，$$G_t=R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+\cdots +{\gamma }^{T-(t+1)}{R}_T=\sum _{i=0}^{\infty }{\gamma }^i{R}_{t+1+i}$$其中$\gamma (\gamma \in [0,1])$是指衰减指数。这个公式就是说在状态$s$中给定动作$a$后获得的回报，这个回报是直至结束的。简单的理解就是像在象棋中，每一个手棋之后会有一个整体得分，而非单手的得分。这里回报是指后续的全部得分，而$R$是指单手得分。然后$\gamma$是指衰减，即从现在的角度看未来的几手棋的单手得分对现在的影响是会随着步数的增加而减少的。就像未来的绝杀获得了100分，但我们肯定不能把这100分直接加到当前这手棋的回报里，所以这里给了一个衰减指数的常量。

然后我们就可以定义价值函数$V$ $$V_{\pi }(s)=E_{\pi }[G_t|S_t=s]$$这里是指在给定了状态$s$的前提下啊，不同的$\pi$(policy)会带来不同的回报，而价值函数就是求它们的数学期望。在这里policy是具有随机性的，即给定状态后，是有可能执行不同的action，而非给定一个状态之后只执行一个action。

贝尔曼期望方程

上图是回溯图，描绘了$S_t$转移到$S_{t+1}$的过程。对于价值函数$V$，它是所有路径回报的平均价值。为了更深入地分析，这里引入了更细致的价值函数$q$，其考虑了当前状态$S_t$和动作$a$ $$q_{\pi }(s,a)=E_{\pi }[G_t|S_t=s,A_t=a]$$这里我们就可以分析价值函数$q$和$V$的关系，通过上图，我们可以发现$q$是给定action后的价值，所以得到$$V_{\pi }(s)=\sum _a\pi (a|s)\cdot q_{\pi }(s,a)$$然后分析$q_{\pi }(s,a)$，这里可以发现通过通过动作$a$转移到状态$S_{t+1}$的价值，然后它的价值就是$(r+\gamma V(S_{t+1}))$，$r$就是指获得reward，$V(S_{t+1})$是指下一个状态的价值函数，$\gamma$则是上文提过的衰减指数。然后q是包含了所有转移的价值，所以需要考虑到所有的$R_{t+1}$和$S_{t+1}$，即$$q_{\pi }(s,a)=\sum _{s^{\prime }}\sum _{r}Pr(r,s^{\prime }|s,a)(r+\gamma V(s^{\prime }))$$其中$s^{\prime }\in S$指下一个状态的某个可能，$r\in R$是指奖励的可能。这样我们就可以得到价值函数V的递推表达式$$V_{\pi }(s)=\pi (a|s)\left[\sum _{s^{\prime }}\sum _{r}Pr(r,s^{\prime }|s,a)(r+\gamma V(s^{\prime }))\right]$$同理对于价值函数$q$也有递推表达式$$q_{\pi }(s,a)=\sum _{s^{\prime }}\sum _{r}Pr(r,s^{\prime }|s,a)\left(r+\gamma \left[\sum _{a^{\prime }}\pi (a^{\prime }|s^{\prime })q_{\pi }(a^{\prime }|s^{\prime })\right]\right)$$
这俩个递推式也称为贝尔曼期望方程。即$$V_{\pi }(s)=\pi (a|s)\left[\sum _{s^{\prime }}\sum _{r}Pr(r,s^{\prime }|s,a)(r+\gamma V(s^{\prime }))\right]$$$$q_{\pi }(s,a)=\sum _{s^{\prime }}\sum _{r}Pr(r,s^{\prime }|s,a)\left(r+\gamma \left[\sum _{a^{\prime }}\pi (a^{\prime }|s^{\prime })q_{\pi }(a^{\prime }|s^{\prime })\right]\right)$$

贝尔曼最优方程

这里我们先定义最优的价值函数$V$和$q$分别为$V_{\pi }^{\ast }(s)$和$q_{\pi }^{\ast }(s,a)$，即$$V_{\pi }^{\ast }(s)=\underset{\pi }{\max }{V}_{\pi }(s)$$$$q_{\pi }^{\ast }(s,a)=\underset{\pi }{\max }{q}_{\pi }(s,a)$$即在最优策略下的最大价值函数。同样的可以认为$V$和$q$的最优策略是一样的，即$${\pi }^{\ast }=\underset{\pi }{\mathrm{argmax}}{V}_{\pi }(s)=\underset{\pi }{\mathrm{argmax}}{q}_{\pi }(s,a)$$这里有一点不严谨，就是${\pi }^{\ast }$在$q$中会比$V$少一个action，除去这个action之外的策略是相同的。然后可以记$$V_{\ast }(s)=\underset{\pi }{\max }{V}_{\pi }(s)=V_{{\pi }^{\ast }}(s)$$$$q_{\ast }(s,a)=\underset{\pi }{\max }{q}_{\pi }(s,a)=q_{{\pi }^{\ast }}(s,a)$$然后建立它们之间的等式关系$$V_{\ast }(s)=\underset{a}{\max }{q}_{\ast }(s,a)$$这里可以是指从原本的$V_{{\pi }^{\ast }}(s)={\sum }_a\pi (a|s)\cdot q_{{\pi }^{\ast }}(s,a)$，在最优策略下$\pi (a^{\ast }|s)=1$，从而得到这个等式关系。然后联立$$V_{\ast }(s)=\underset{a}{\max }{q}_{\ast }(s,a)$$$$q_{\pi }(s,a)=\sum _{s^{\prime }}\sum _{r}Pr(r,s^{\prime }|s,a)\left(r+\gamma \left[\sum _{a^{\prime }}\pi (a^{\prime }|s^{\prime })q_{\pi }(a^{\prime }|s^{\prime })\right]\right)$$有$$V_{\ast }(s)=\underset{a}{\max }\sum _{s^{\prime }}\sum _{r}Pr(r,s^{\prime }|s,a)\left(r+\gamma \left[V_{\ast }(s^{\prime })\right]\right)$$$$q_{\ast }(s,a)=\sum _{s^{\prime }}\sum _{r}Pr(r,s^{\prime }|s,a)\left(r+\gamma \left[\underset{a^{\prime }}{\max }{q}_{\ast }(s^{\prime },a^{\prime })\right]\right)$$这个递推方程也称之为贝尔曼最优方程