马科夫决策过程（Markov Decision Process，MDP）

一个MDP模型包含：

1. 状态集合$S$
2. 行为结合$A$
3. 奖励函数$R(s,a)$
4. 状态转移矩阵$T$
   
   1. 确定性转移$S\times A\rightarrow S$
   2. 概率性转移$S\times A\rightarrow Prob(S)$
   • 行为策略$\pi$: $S\rightarrow A$
     在状态$s$下的应采取的最佳行为$a$:$a=\pi(s)$

   • 评价策略$\pi$的好坏

     在状态$s$下，策略$\pi$到底好不好呢？应该要有一个量化的评估。

     价值函数

     Bellman等式

     价值函数$V_\pi(s)$代表了$\pi$在$s$下获得的奖励期望，它的计算是一个递归的过程。
     $V_\pi(s)=R(s,\pi(s))+\sum_{s'\in S}T(s,\pi(s),s')\cdot\gamma\cdot V_\pi(s')$

     其中，
     $R(s,\pi(s))$：在状态$s$下采取行为$\pi(s)$的奖励
     $T(s,\pi(s),s')$：在状态$s$下采取行为$\pi(s)$后，转移到新状态$s'$的概率
     $\gamma$：奖励折扣，取值在[0.0,1.0]。它的引入是为了使期望计算不趋于$\infty$

     有限视野的Bellman等式

     运行有限步骤n的Bellman等式
     $V_{\pi(s),0}=R(s,\pi(s))$
     $V_{\pi(s),n}=R(s,\pi(s))+\sum_{s'\in S}T(s,\pi(s),s')\cdot\gamma\cdot V_{\pi(s'),n-1}$

     To be continued…

     参考：www.cs.rice.edu/~vardi/dag01/givan1.pdf