马尔可夫链模型
概念:描述一类重要的随机动态系统(过程)的模型。该过程时间、状态均为离散 的随机转移过程。
特点:
1.系统在每个时期所处的状态是随机的。
2.从一时期到下时期的状态按一定概率转移。
3.下时期状态只取决于本时期状态和转移概率。即已知现在,将来与过去无关(无后效性)
马氏链的基本方程
状态:
Xn=1,2,...k(n=1,2,...)
X
n
=
1
,
2
,
.
.
.
k
(
n
=
1
,
2
,
.
.
.
)
状态概率:
ai(n)=P(Xn=i)(i=1,2,...k;n=0,1,2,...)
a
i
(
n
)
=
P
(
X
n
=
i
)
(
i
=
1
,
2
,
.
.
.
k
;
n
=
0
,
1
,
2
,
.
.
.
)
其中
∑ki=1ai(n)=1
∑
i
=
1
k
a
i
(
n
)
=
1
转移概率:
pij=P(Xn+1=j|Xn=i)
p
i
j
=
P
(
X
n
+
1
=
j
|
X
n
=
i
)
其中
pij≥0
p
i
j
≥
0
,
∑kj=1pij=1,i=1,2,...,k
∑
j
=
1
k
p
i
j
=
1
,
i
=
1
,
2
,
.
.
.
,
k
基本方程:
ai(n+1)=∑kj=1aj(n)pji
a
i
(
n
+
1
)
=
∑
j
=
1
k
a
j
(
n
)
p
j
i
i=1,2,…,k
马氏链的两个重要类型
正则链
从任一状态出发经有限次转移能以正概率到达另外任一状态。
吸收链
存在吸收状态(一旦到达就不会离开的状态i,
pii=1
p
i
i
=
1
),且从任一非吸收状态出发经有限次转移能以正概率到达吸收状态。
使用模型:健康与疾病,钢琴销售的存贮策略,基因遗传,等级结构。
隐马尔可夫模型(HMM)
概念:隐马尔可夫模型是马尔可夫链的一种,它的状态不能直接观察到,但能通过观测向量序列观察到,每个观测向量都是通过某些概率密度分布表现为各种状态,每一个观测向量是由一个具有相应概率密度分布的状态序列产生。
特点:隐马尔可夫模型是一个双重随机过程—-具有一定状态数的隐马尔可夫链和显示随机函数集。
组成:隐马尔可夫模型(HMM)可以用五个元素来描述,包括2个状态集合和3个概率矩阵。
1.隐含状态 S
这些状态之间满足马尔可夫性质,是马尔可夫模型中实际所隐含的状态。这些状态通常无法通过直接观测而得到。(例如S1、S2、S3等等)
2.可观测状态 O
在模型中与隐含状态相关联,可通过直接观测而得到。(例如O1、O2、O3等等,可观测状态的数目不一定要和隐含状态的数目一致)
3.初始状态概率矩阵 π
表示隐含状态在初始时刻t=1的概率矩阵,(例如t=1时,P(S1)=p1、P(S2)=P2、P(S3)=p3,则初始状态概率矩阵 π=[ p1 p2 p3 ].
4. 隐含状态转移概率矩阵 A
描述了HMM模型中各个状态之间的转移概率。
其中
Aij=P(Sj|Si),1≤i,,j≤N.
A
i
j
=
P
(
S
j
|
S
i
)
,
1
≤
i
,
,
j
≤
N
.
表示在 t 时刻、状态为
Si
S
i
的条件下,在 t+1 时刻状态是
Sj
S
j
的概率。
5. 观测状态转移概率矩阵 B (英文名为Confusion Matrix,直译为混淆矩阵)
令N代表隐含状态数目,M代表可观测状态数目,则:
Bij=P(Oi|Sj),1≤i≤M,1≤j≤N.
B
i
j
=
P
(
O
i
|
S
j
)
,
1
≤
i
≤
M
,
1
≤
j
≤
N
.
表示在 t 时刻、隐含状态是
Sj
S
j
条件下,观察状态为
Oi
O
i
的概率。
令N代表隐含状态数目,M代表可观测状态数目,则:
Bij=P(Oi|Sj),1≤i≤M,1≤j≤N.
B
i
j
=
P
(
O
i
|
S
j
)
,
1
≤
i
≤
M
,
1
≤
j
≤
N
.
表示在 t 时刻、隐含状态是 Sj 条件下,观察状态为 Oi 的概率。
隐马尔可夫模型以它在时间上的模式识别所知,如语音,手写,手势识别,词类的标记,乐谱,局部放电和生物信息学应用,气象气候预报。