马尔可夫决策过程

马尔可夫决策过程

---

马尔科夫决策过程

马尔可夫决策过程是一个离散时间的随机过程，有六元组$\{S, A, D, P, r， J \}$组成，六元组中:
1. $S$有限维的环境状态空间
2. $A$是有限维的动作空间，$D$为初始状态的概率分布，如果初始状态的确定的，$D$在该初始状态下的概率为1，当初始状态是以相等的概率从所有状态中选择时，$D$可以忽略。
3. $P(s, a, s') \in [0, 1]$为状态转移概率，表示在状态$s$下选择动作$a$后使环境被转移到$s'$的概率
4. $r(s,a,s') : S \times A \times S' \rightarrow \mathcal{R}$为学习系统从状态$s$执行动作$a$转移到$s'$得到的立即回报
5. $J$是决策优化目标函数

马尔可夫决策过程的特点是目前状态$s$向下一个状态$s'$转移的概率和回报仅仅和当前状态的$s$和选择的$a$有关，和历史无关，因此MDP的转移$P$和立即回报$r$也只取决与当前状态和选择的动作，与历史状态和动作无关，公式表达：

P(s=st,a=at,s′=st+1)=pr(s