【李航统计学习笔记】第十章：隐马尔科夫模型

10.1 隐马尔科夫模型

蓝色圆圈代表状态变量，绿色圆圈代表观测变量。

模型参数及符号：

状态集合： Q = { q 1 , … q N } Q=\left\{q_{1, \ldots} q_{N}\right\} Q={q1,…​qN​}

预测集合： V = { v 1 , … v M } V=\left\{v_{1, \ldots} v_{M}\right\} V={v1,…​vM​}

状态序列： I = { i 1 , … i T } i t ⊂ Q I=\left\{i_{1, \ldots} i_{T}\right\} \quad i_{\mathrm{t}} \subset Q I={i1,…​iT​}it​⊂Q

预测序列 : O = { 0 1 , … o T } o t ⊂ O=\left\{0_{1, \ldots} o_{T}\right\} \quad o_{\mathrm{t}} \subset O={01,…​oT​}ot​⊂ $V$

然后我们可以构建状态转移矩阵
$$\begin{array}{cccccc}& i_2=q_1& i_2=q_2& \dots & i_2=q_{\mathrm{N}}& \\ i_1=q_1& a_{11}& a_{12}& \dots & a_{1\mathrm{N}}& a_{1\mathrm{j}}=\mathrm{P}\left(i_2=q_{\mathrm{j}}\mid i_1=q_1\right)\\ i_1=q_2& a_{21}& a_{22}& \dots & a_{2\mathrm{N}}& a_{2\mathrm{j}}=\mathrm{P}\left(i_2=q_{\mathrm{j}}\mid i_1=q_2\right)\\ \dots & \dots & \dots & \dots & \dots & \dots \\ i_1=q_{\mathrm{N}}& a_{\mathrm{N}1}& a_{\mathrm{N}2}& \dots & a_{\mathrm{NN}}& a_{\mathrm{Nj}}=\mathrm{P}\left(i_2=q_{\mathrm{j}}\mid i_1=q_{\mathrm{N}}\right)\end{array}$$
也就是
$$A_{N\times N}=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1N}\\ a_{21}& a_{22}& \cdots & a_{2N}\\ \cdots & \cdots & \cdots & \cdots \\ a_{N1}& a_{N2}& \cdots & a_{NN}\end{array}\right]$$
然后我们构建观测概率矩阵
$$\begin{array}{ccccc}& o_1=v_1& o_1=v_2& \dots & o_1=v_{\mathrm{M}}\\ i_1=q_1& b_1(1)& b_1(2)& \dots & b_1(\mathrm{M})\\ i_1=q_2& b_2(1)& b_2(2)& \dots & b_2(\mathrm{M})\\ \dots & \dots & \dots & \dots & \dots \\ i_1=q_{\mathrm{N}}& b_{\mathrm{N}}(1)& b_{\mathrm{N}}(2)& \dots & b_{\mathrm{N}}(\mathrm{M})\end{array}$$

$$B_{N\times M}=\left[\begin{array}{cccc}{b}_{11}& b_{12}& \cdots & b_{1M}\\ b_{21}& b_{22}& \cdots & b_{2M}\\ \cdots & \cdots & \cdots & \cdots \\ b_{N1}& b_{N2}& \cdots & b_{NM}\end{array}\right]$$

我们设定初始状态概率向量为
$$\pi =\left[\begin{array}{c}{\pi }_1\\ {\pi }_2\\ \cdots \\ {\pi }_N\end{array}\right]=\left[\begin{array}{c}P\left(i_1=q_1\right)\\ P\left(i_2=q_2\right)\\ \cdots \\ P\left(i_N=q_N\right)\end{array}\right]$$
模型参数量是
$$\lambda =\left({\pi }_{N\times 1},A_{N\times N},B_{N\times M}\right)$$
总参数量=$N\times (N\times N)\times (N\times M)$。而自由参数量=$(N-1)\times (N\times N-N)\times (N\times M-N)$。

在隐马尔科夫模型中，我们有两个基本假设:

• 齐次马尔科夫性: $P\left(i_t\mid i_{t-1},\cdots ,i_1\right)=P\left(i_t\mid i_{t-1}\right)$
• 观测独立假设

同时我们有三个基本问题：

• 概率计算问题：$P(O\mid \lambda )$
• 学习问题: $\arg \max P(O\mid \lambda )$
• 预测问题: $\arg \max P(I\mid O)$

概率算法，计算$P(O\mid \lambda )$

1.直接计算法

$$P(O\mid \lambda )=\sum _{I}P(O\mid I,\lambda )P(I\mid \lambda )=\sum _{i_1,i_2,\dots ,i_T}{\pi }_{i_1}{b}_{i_1\left(o_1\right)}{a}_{i_1{i}_2}{b}_{i_2\left(o_2\right)}\dots a_{i_{T-1}{i}_T}{b}_{i_T\left(o_T\right)}$$

但是这个式子的计算复杂度为$O(T{N}^T)$

2.前向计算法

计算复杂度为: $O\left(T{N}^2\right)$

引入新变量: ${\alpha }_t(i)=P\left(o_1,\cdots ,o_t,i_t=q_i\mid \lambda \right),i=1,\dots ,N$

输入：隐马尔科夫模型$\lambda$, 观测序列$O$

输出：观测序列概率$P(O\mid \lambda )$

步骤：

(1) 初值: ${\alpha }_1(i)={\pi }_i{b}_i\left(o_1\right),i=1,2,\dots ,N$
(2) 递推: 对于$\mathrm{t}=1,2,\dots ,T-1$
$$\begin{array}{c}{\alpha }_{t+1}(i)=P\left(O_1,\dots ,o_t,o_{t+1},i_{t+1}=q_i\right)\\ =\sum _{j=1}^{N}P\left(O_1,\dots ,O_t,i_t=q_i\right)P\left(O_{t+1}\mid i_{t+1}=q_i\right)P\left(i_{t+1}=q_i\mid i_t=q_j\right)\\ =\left[\sum _{j=1}^N{\alpha }_t(j)a_{ji}\right]b_i\left(o_{t+1}\right)\end{array}$$
(3) 终止：
$$P(O\mid \lambda )=\mathrm{P}\left(O_1,\dots ,O_T\mid \lambda \right)=\sum _{i=1}^N\mathrm{P}\left(O_1,\dots ,O_T,i_T=q_i\mid \lambda \right)=\sum _{i=1}^N{\alpha }_T(i)$$
我们引入新变量${\beta }_t(i)=\mathrm{P}\left(o_{t+1},\cdots ,o_T\mid i_t=q_i,\lambda \right),i=1,\dots ,N$

3.后向算法

计算复杂度$O(T{N}^2)$

输入：隐马尔科夫模型$\lambda$,观测序列$O$

输出：观测序列概率$P(O\mid \lambda )$

步骤：

(1) 初值：${\beta }_T(i)=1,i=1,2,\dots ,N$
(2) 递推：对t $=T-1,T-2,\dots ,1$
$${\beta }_t(i)=\sum _{j=1}^N{a}_{ij}{b}_j\left(o_{t+1}\right){\beta }_{t+1}(j),i=1,2,\dots ,N$$
(3) 终止： $P(O\mid \lambda )={\sum }_{i=1}^N{\pi }_i{b}_i\left(o_i\right){\beta }_1(i)$

学习算法，估计参数$\lambda =(\pi ,A,B)$

1.监督学习方法

已知训练数据包含$S$个长度相同的观测序列和对应的状态序列 { ( O 1 , I 1 ) , ( O 2 , I 2 ) , … , ( O S , I S ) } \left\{\left(O_{1}, I_{1}\right),\left(O_{2}, I_{2}\right), \ldots,\left(O_{S}, I_{S}\right)\right\} {(O1​,I1​),(O2​,I2​),…,(OS​,IS​)}

(1)转移概率 $a_{ij}$ 的估计
$${\hat{a}}_{ij}=\frac{A_{ij}}{{\sum }_{j=1}^N{A}_{ij}},i=1,2,\dots ,N;j=1,2,\dots ,N$$
(2)转移概率 $a_{ij}$ 的估计
$${\hat{b}}_j(k)=\frac{B_{jk}}{{\sum }_{k=1}^M{B}_{jk}}j=1,2,\dots ,N;k=1,2,\dots ,M$$
(3)初始状态概率 ${\pi }_i$ 的估计 ${\hat{\pi }}_i$ 为 $S$ 个样本中初始状态为 $q_i$ 的频率

2.Buam-Welch算法（EM算法）

输入：观测数据$$O=\left(O_1,O_2,\dots ,O_T\right)$$

输出：隐马尔科夫模型参数

(1)初始化：对$n=0$,选取$a_{ij}^{(0)},b_j(k{)}^{(0)},{\pi }_i^{(0)}$,得到模型${\lambda }^{(0)}=\left(A^{(0)},B^{(0)},{\pi }^{(0)}\right)$

(2)递推：对$n=1,2,\cdots ,$
$$\begin{gathered} a_{ij}^{(n+1)}=\frac{{\sum }_{t=1}^{T-1}{\xi }_t(i,j)}{{\sum }_{t=1}^{T-1}{\gamma }_t(i)} \\ {b}_j(k{)}^{(n+1)}=\frac{{\sum }_{t=1,ot=vk}^T{\gamma }_t(j)}{{\sum }_{t=1}^T{\gamma }_t(j)} \\ {\pi }_i^{(n+1)}={\gamma }_1(i) \end{gathered}$$
其中
$$\begin{array}{c}{\gamma }_t(i)=\frac{{\alpha }_t(i){\beta }_t(i)}{P(O\mid \lambda )}=\frac{{\alpha }_t(i){\beta }_t(i)}{{\sum }_{j=1}^N{\alpha }_t(j){\beta }_t(j)}\\ {\xi }_t(i,j)=\frac{{\alpha }_t(i)a_{ij}{b}_j\left(o_{t+1}\right){\beta }_{t+1}(j)}{{\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_t(i)a_{ij}{b}_j\left(o_{t+1}\right){\beta }_{t+1}(j)}\end{array}$$

预测算法

目标：计算$\arg \max P(I\mid O,\lambda )$

1.近似算法

$$i_t^{\ast }=\arg \underset{1\le i\le N}{\max }\left[{\gamma }_t(i)\right],t=1,2,\dots ,T$$

其中${\gamma }_t(\mathrm{i})=P\left(i_t=q_i\mid O,\lambda \right)$

当$t=1$:
$$i_1^{\ast }=\arg \underset{1\le j\le N}{\max }P\left(i_1=q_j\mid O,\lambda \right)=\arg \underset{1\le j\le N}{\max }\left\{\begin{array}{c}P\left(i_1=q_j\mid O,\lambda \right)\\ \cdots \\ \left(i_1=q_N\mid O,\lambda \right)\end{array}\right\}$$
当$t=2$
$$i_2^{\ast }=\arg \underset{1\le j\le N}{\max }P\left(i_2=q_j\mid O,\lambda \right)$$
最后
$$I^{\ast }=\left(i_1^{\ast },\dots ,i_T^{\ast }\right)$$

2.维特比算法

输入：模型$\lambda =(A,B,\pi )$观测数据$O=(o_1,o_2,\cdots ,o_T)$

输出：最优路径$I^{\ast }=\left(i_1^{\ast },\dots ,i_T^{\ast }\right)$

(1)初始化
$$\begin{array}{c}{\delta }_t(i)={\pi }_i{b}_i\left(o_1\right),i=1,2,\dots ,N\\ {\Psi }_t(i)=0,i=1,2,\dots ,N\end{array}$$
(2)递推

对于$t=2,3,\cdots ,T$
$$\begin{array}{c}{\delta }_t(i)=\underset{1\le j\le N}{\max }\left[{\delta }_{t-1}(j)a_{ij}\right]b_i\left(o_t\right),i=1,2,\dots ,N\\ {\Psi }_t(i)=\arg \underset{1\le j\le N}{\max }\left[{\delta }_{t-1}(j)a_{ij}\right],i=1,2,\dots ,N\end{array}$$
(3)终止
$$\begin{array}{c}{P}^{\ast }=\underset{1\le i\le N}{\max }{\delta }_T(i)\\ i_T^{\ast }=\arg \underset{1\le i\le N}{\max }\left[{\delta }_T(i)\right]\end{array}$$
(4)最优路径回溯

对于$t=T-1,T-2,\cdots ,1$
$$i_t^{\ast }={\Psi }_{t+1}\left(i_{t+1}^{\ast }\right)$$
求得最优路径$I^{\ast }=\left(i_1^{\ast },i_2^{\ast },\dots ,i_T^{\ast }\right)$

总结

1. 状态链、观测链、状态转移矩阵、观测转移矩阵
2. 隐马尔可夫两种假设：齐次马尔可夫性、观测独立假设
3. 概率计算法：直接计算法、前向算法、后向算法
4. 学习算法：EM算法
5. 预测算法：近似算法、维特比算法

10.2 维特比算法(Viterbi Algorithm)

如上一节所示，我们在初始化中引入了新变量
$${\delta }_t(j)=\underset{i_1,i_2,\dots ,i_{t-1}}{\max }\mathrm{P}\left(i_1,\dots ,i_{t-1},i_t=j,o_t,\dots ,o_1\mid \lambda \right),i=1,2,\dots ,N$$
推导：
$$\begin{array}{rl}{\delta }_{t+1}(i)& =\underset{i_1,i_2,\dots ,it}{\max }P\left(i_1,\dots ,i_t,i_{t+1}=i,O_{t+1},\dots ,o_1\mid \lambda \right)\\ & =\underset{1\le j\le N}{\max }{\delta }_t(j)P\left(o_{t+1}\mid i_{t+1}=q_i\right)P\left(i_{t+1}=q_i\mid i_t=q_j\right)\\ & =\underset{1\le j\le N}{\max }\left[{\delta }_t(j)a_{ji}\right]b_i\left(o_{t+1}\right)i=1,2,\dots ,N;t=1,2,\dots ,T-1\end{array}$$
维特比算法本质是用动态规划来解决隐马尔科夫模型的预测问题