马尔可夫模型

本文对比了几种基本的马尔可夫模型，并介绍了它们的相关概念。

马尔可夫性

系统下一状态$s_{t+1}$仅与当前状态$s_t$有关，通过转移概率T表达如下
$$T(s_{t+1}|s_t)=T(s_t|s_1,s_2,\dots ,s_t)$$

马尔科夫链

每个状态都具有马尔科夫性的随机序列。

马尔科夫过程

每个状态都具有马尔科夫性的随机过程（用来研究随机序列），用二元组$(S,T)$表示。$S$指有限状态空间，$T$是转移转移矩阵。
$$T=\left[\begin{array}{ccc}{T}_{11}& \cdots & T_{1n}\\ ⋮& ⋮& ⋮\\ T_{11}& \cdots & T_{1n}\end{array}\right]$$

隐马尔可夫模型(HMM)

系统存在不可观察的状态$s$的马尔可夫模型，但隐藏状态和某些可以观察的随机变量相关。

马尔可夫决策模型(MDP)

引入有限动作空间$A$，并且每执行一次动作后转移状态会从环境中获得立即奖励，由奖惩函数$r$得到。MDP由元组$(S,A,T,r,\gamma )$定义,$\gamma$是折扣因子,用于计算累计奖励$R$。