本文对比了几种基本的马尔可夫模型,并介绍了它们的相关概念。
马尔可夫性
系统下一状态
s
t
+
1
s_{t+1}
st+1仅与当前状态
s
t
s_t
st有关,通过转移概率T表达如下
T
(
s
t
+
1
∣
s
t
)
=
T
(
s
t
∣
s
1
,
s
2
,
…
,
s
t
)
T(s_{t+1}|s_{t}) = T(s_t|s_{1},s_{2},\dots,s_{t})
T(st+1∣st)=T(st∣s1,s2,…,st)
马尔科夫链
每个状态都具有马尔科夫性的随机序列。
马尔科夫过程
每个状态都具有马尔科夫性的随机过程(用来研究随机序列),用二元组
(
S
,
T
)
(S,T)
(S,T)表示。
S
S
S指有限状态空间,
T
T
T是转移转移矩阵。
T
=
[
T
11
⋯
T
1
n
⋮
⋮
⋮
T
11
⋯
T
1
n
]
T=\begin{bmatrix} T_{11} & \cdots & T_{1n} \\ \vdots & \vdots & \vdots \\ T_{11} & \cdots & T_{1n} \end{bmatrix}
T=⎣⎢⎡T11⋮T11⋯⋮⋯T1n⋮T1n⎦⎥⎤
隐马尔可夫模型(HMM)
系统存在不可观察的状态 s s s的马尔可夫模型,但隐藏状态和某些可以观察的随机变量相关。
马尔可夫决策模型(MDP)
引入有限动作空间 A A A,并且每执行一次动作后转移状态会从环境中获得立即奖励,由奖惩函数 r r r得到。MDP由元组 ( S , A , T , r , γ ) (S,A,T,r,\gamma) (S,A,T,r,γ)定义, γ \gamma γ是折扣因子,用于计算累计奖励 R R R。