Lecture2:Markov Decision Process

Markov Process

几乎所以的强化学习问题都可以表述成马尔可夫决策过程（MDP）的形式。

Markov Property

Definition
A state $S_t$ is Markov if and only if
$$\mathbb{P}[S_{t+1}|S_t]=\mathbb{P}[S_{t+1}|S_1,\dots ,S_t]$$
下一个状态只与当前状态有关

从状态s到状态s’的状态转移概率
$P_{s{s}^{\prime }}=\mathbb{P}[S_{t+1}=s^{\prime }|S_t=s]$
状态转移矩阵定义从状态s到状态s’的转移概率。

Markov Process

马尔可夫过程中的所有状态均满足马尔可夫性，马尔可夫过程可以表示成一个而元组，包含状态和状态转移矩阵。

下图是一个马尔可夫过程的例子。初始状态为C1，最终状态为Sleep。

采样（sample）是一个非常重要的概念。如图所示，采样的初始状态为C1，最终状态为Sleep。
比如：

• C1 C2 C3 Pass Sleep
• C1 FB FB C1 C2 Sleep
• C1 C2 C3 Pub C2 C3 Pass Sleep
  采样的长度是不固定的是随机的。
  
  马尔可夫过程可以用上述状态转移矩阵表示，第一行第二列是0.5，也就是从C1到C2的转移概率，第二行，第三列为0.8，也就是从C2到C3的转移概率。每一行的总和为1。

Markov Reward Process

可以认为带有value的马尔可夫过程。

R告诉我们从在时间t，状态s的时候，能获得多少reward，这是立即奖励，也就是t+1时候的reward。

Return

$G_t$可以看作是从时间t开始到结束的累计奖励。
$\gamma \in [0,1]$
当$\gamma$接近于0时，我们倾向于短期的reward，当接近于1时，倾向于长期reward。

为什么要设置衰减因子$\gamma$？

Value Function

value function 衡量在状态s时，到结束时可以获得reward的总和，也就是对$G_t$的期望。

还是以上面的为例子：从C1开始，$\gamma =\frac{1}{2}$
$G_1=R_2+\gamma R_3+\cdots +{\gamma }^{T-2}{R}_T$

可以理解为$G_1$是一个随机变量，$G_1$是$R_2,R_3,\dots$这些随机变量的和，v是$G_1$的期望。

Bellman Equation

当前的value function可以看出两部分组成。它的基本思想就是递归分解。

对于MRP而言，奖励仅仅与状态有关，因此bellman方程可以做一下分解表示：

在bellman方程中，值函数被分解为两部分，一部分是对于t+1时间步的奖励的期望，另一部分是对于有折扣的下一状态值的期望。第一部分中由于t+1步的奖励就是t时刻的状态所获得的奖励，因此期望可以直接略去；第二部分则是利用状态转移矩阵对状态值函数求的期望。

bellman equantion的矩阵表示形式

这里前面的v和后面的v是相同的，就是待求解矩阵。这种方法只适合状态比较少的情况。

Markov decision Process

MDP是一个包含MRP的决策过程。它是一个所有状态都具有马尔可夫性的环境。

Policy

A policy $\pi$ is a distribution over actions given state,
$$\pi (a|s)=\mathbb{P}[A_t=a|S_t=s]$$

这里的policy $\pi$ 中并不包含reward，因为我们并不关心过去所得的reward，我们的策略是最大化将来的reward。此外，当前的state包含之前的所有信息。

• Policy 完全定义了agent的行为
• MDP policy 只依赖于当前的状态
• Policy是固定的，与时间无关
  $A_t\sim \pi (\cdot |S_t),\forall t>0$
• 给定一个 MDP $M=<S,A,P,R,\gamma >$和policy $\pi$，状态序列$S_1,S_2,\dots$ 是markov过程 $<S,P^{\pi }>$, 状态和奖励序列$S_1,R_1,S_2,\dots$也是markov过程$<S,P^{\pi },R^{\pi },\gamma >$
• 其中：
  $P_{s,s^{\prime }}^{\pi }={\sum }_{a\in A}\pi (a|s)P_{s{s}^{\prime }}^a$
  $R_s^{\pi }={\sum }_{a\in A}\pi (a|s)R_s^a$

Value Function

之前提到的是不包含action的value function，也就是上图中的state-value function，他是关于state 的value function。这里又补充了关于action的value function。$v_{\pi }(s)$可以理解为状态s有多好，$q_{\pi }(s,a)$可以理解为在状态s下采取action a有多好。

Bellman Expectation Equation

之前提到的关于state的bellman equation为：
$$v_{\pi }(s)={\mathbb{E}}_{\pi }[R_{t+1}+\gamma v_{\pi }(S_{t+1})|S_t=s]$$
现在关于action的bellman equation为：
$$q_{\pi }(s,a)={\mathbb{E}}_{\pi }[R_{t+1}+\gamma q_{\pi }(S_{t+1},A_{t+1})|S_t=s,A_t=a]$$
下面用树状图解释一下：
白色的圈为状态，黑色的点为action。

求根结点s的value $v_{\pi }(s)$，在状态s时，可能会以不同的概率$\pi (a|s)$采取对应action，对应图中的两个黑色的点。采取每个action都会得到一个action-value function $q_{\pi }(s,a)$。这里把不同的action对应的值进行平均就得到了状态s时的value $v_{\pi }(s)$。

这幅树状图描述了在状态s时采取action a得到的$q_{\pi }(s,a)$。每执行一次cation都会得到立即的reward $R_S^a$，然后会以概率$P_{s{s}^{\prime }}^a$转移到不同的状态s’。在不同的状态s’都会有$v_{\pi }(s‘)$，这里对所有可能的状态s’进行平均，然后乘衰减因子$\gamma$，再加上之前立即reward $R_S^a$ 就得到了最终的$q_{\pi }(s,a)$。

下面两幅图是上面两幅图的组合。就是进行递归操作。



这里讲解一下7.4 是如何计算的。7.4是在状态C3是的value。在状态C3时，可能采取两种action分别为Study和Pub，对应的概率均为0.5，采取action Pub之后会得到立即奖励 +1，然后分别以0.2，0.4，0.4的概率转换为状态C1，C2，C3。采取action Study之后会得到立即奖励+10，然后以1.0的概率转移到结束状态。
7.4 = 0.5*(1+0.2*(-1.3)+0.42.7+0.47.4) + 0.5*(10+1*0)

Bellman Expectation Equation（Matrix Form）

$v_{\pi }=R^{\pi }+\gamma P^{\pi }{v}_{\pi }$
直接求解可得
$v_{\pi }=(1-\gamma P^{\pi }{)}^{-1}{R}_{\pi }$

Optimal Value function

其实我们并不关心在markov chain中可以得到多少reward，我们关心的是在系统中找到最佳路径。

$v_{\ast }(s)$仅仅告诉了我们最大可能的reward，但是并没有告诉我们最好的policy是什么。
$q_{\ast }(s,a)$告诉了我们在状态s，采取a所获取的最大reward ，如果我们可以获取到$q_{\ast }(s,a)$，我们就可以说MDP得到了解决。因此解决MDP可以认为是寻找$q^{\ast }$。

Optimal Policy

如何定义好的Policy?
$\pi ⩾{\pi }^{\prime }\text{if}{v}_{\pi }(s)⩾v_{{\pi }^{\prime }}(s),\forall s$

• 寻找optimal policy
  

Bellman Optimality Equation

在之前求$v_{\pi }(s)$是平均不同action的reward $q_{\pi }(s,a)$，这里求$v_{\ast }(s)$是找到最大的action所获得的reward $q_{\ast }(s,a)$。

这里求$q_{\ast }(s,a)$和之前的操作相同，也是采取的平均的方法。
下面两幅图为上面的组合，采用了递归的方法。

这里是max（… + …）而不是max（…） + …

Bellman最优方程是非线性的，没有固定的解决方案,解决Bellman optimality equation 的方法通常是采样迭代的方法，比如

• Value Iteration
• Policy Iteration
• Q-learnig
• Sarsa

Extensions to MDPs

视频中简要提及，没有详细讲解。