隐马尔可夫模型原理介绍

1. 引言

    隐马尔可夫模型（Hidden Markov Model，HMM）是可用于标注问题的统计学习模型，描述由隐藏的马尔可夫链随机生成观测序列的过程，属于生成模型，以下统一用简称HMM表示。HMM在语音识别、自然语言处理等都有着广泛的应用。

2. HMM原理介绍

2.1 HMM模型的定义

    HMM模型是关于时序的概率模型，描述由一个隐藏的马尔可夫链随机生成不可观测的状态随机序列，再由各个状态生成一个观测而产生观测随机序列的过程。隐藏的马尔可夫链随机生成不可观测的状态的序列称为状态序列；每个状态生成一个观测，再由此产生的观测的随机序列，称为观测序列。序列的每一个位置可以看作是一个时刻。

    HMM模型由初始概率分布、状态转移概率分布、观测概率分布确定。设$Q$是所有可能的状态的集合，$V$是所有可能的观测的集合，即：
Q = { q 1 , q 2 , ⋯   , q N } , V = { v 1 , v 2 , ⋯   , v M } Q=\left\{q_{1}, q_{2}, \cdots, q_{N}\right\}, \quad V=\left\{v_{1}, v_{2}, \cdots, v_{M}\right\} Q={q1​,q2​,⋯,qN​},V={v1​,v2​,⋯,vM​}其中，$N$是可能的状态数，$M$是可能的观测数。记$I$是长度为$T$的状态序列，$O$是对应的观测序列，即：
$$I=\left(i_1,i_2,\cdots ,i_T\right),O=\left(o_1,o_2,\cdots ,o_T\right)$$记$A$为状态转移概率矩阵：
$$A={\left[a_{ij}\right]}_{N\times N}$$其中，$a_{ij}=P\left(i_{t+1}=q_j|i_t=q_i\right),i=1,2,\cdots ,N;j=1,2,\cdots ,N$，即在时刻$t$处于状态$q_i$的条件下在时刻$t+1$转移到状态$q_j$的概率。

    记$B$为观测概率矩阵：
$$B={\left[b_j(k)\right]}_{N\times \mu }$$其中，$b_j(k)=P\left(o_t=v_k|i_t=q_j\right),k=1,2,\cdots ,M;j=1,2,\cdots ,N$是在时刻$t$处于状态$q_j$的条件下生成观测$v_k$的概率。

    记$\pi$为初始状态概率向量：
$$\pi =\left({\pi }_i\right)$$其中，${\pi }_i=P\left(i_1=q_i\right),i=1,2,\cdots ,N$，表示时刻$t=1$处于状态$q_i$的概率。

    因此，HMM模型$\lambda$可以用三元符号表示，即：
$$\lambda =(A,B,\pi )$$$A,B,\pi$称为HMM模型的三要素。

    从HMM模型的定义可以发现，HMM其实做了两个基本的假设：

1. 齐次马尔可夫性假设：即假设隐藏的马尔可夫链在任意时刻$t$的状态只依赖于其前一时刻的状态，与其他时刻的状态及观测无关，也与时刻$t$无关，即
   $$P\left(i_t|i_{t-1},o_{t-1},\cdots ,i_1,o_1\right)=P\left(i_t|i_{t-1}\right),t=1,2,\cdots ,T$$
2. 观测独立性假设：即假设任意时刻的观测只依赖于该时刻的马尔可夫链的状态，与其他的观测和状态无关。即
   $$P\left(o_t|i_t,o_t,i_{t-1},o_{t-1},\cdots ,i_{t+1},o_{t+1},i_t,i_{t-1},o_{t-1},\cdots ,i_1,o_1\right)=P\left(o_t|i_t\right)$$

2.2 概率计算方法

     概率计算即给定模型$\lambda =(A,B,\pi )$和观测序列$O=\left(o_1,o_2,\cdots ,o_T\right)$，计算在模型$\lambda$下，观测序列$O$出现的概率$P(O|\lambda )$。

2.2.1 直接计算法

     直接计算法是通过列举所有可能的长度为$T$的状态序列$I=\left(i_1,i_2,\cdots ,i_T\right)$，求各个状态序列$I$和观测序列$O=\left(o_1,o_2,\cdots ,o_T\right)$的联合概率$P(O,I|\lambda )$，然后对所有可能的状态序列求和，得到$P(O|\lambda )$。

    状态序列$I=\left(i_1,i_2,\cdots ,i_T\right)$的概率为：
$$P(I|\lambda )={\pi }_{i_1}{a}_{i_1{i}_2}{a}_{i_2{i}_3}\cdots a_{i_{T-1}{i}_T}$$对固定的状态序列$I=\left(i_1,i_2,\cdots ,i_T\right)$，观测序列$O=\left(o_1,o_2,\cdots ,o_T\right)$的概率为$P(O|I,\lambda )$：
$$P(O|I,\lambda )=b_{i_1}\left(o_1\right)b_{i_2}\left(o_2\right)\cdots b_{i_T}\left(o_T\right)$$$O$和$I$同时出现的l联合概率为：
对所有可能的状态序列$I$求和，得到观测序列$O$的概率$P(O|\lambda )$，即：
但是，通过这种计算方式的计算量非常大，其复杂度为$O\left(T{N}^r\right)$，因此是不可行的。在真实情况下，一般采用更有效的算法，即前向-后向算法。

2.2.2 前向算法

    前向概率：给定隐马尔可夫模型$\lambda$，定义到时刻$t$部分观测序列为$o_1,o_2,\cdots ,o_t$且状态为$q_i$的概率为前向概率，记作：
$${\alpha }_t(i)=P\left(o_1,o_2,\cdots ,o_t,i_t=q_i|\lambda \right)$$

    观测序列概率的前向算法：

1. 输入：隐马尔可夫模型$\lambda$，观测序列$O$；
2. 输出：观测序列概率$P(O|\lambda )$
3. 初值：$${\alpha }_1(i)={\pi }_i{b}_i\left(o_1\right),i=1,2,\cdots ,N$$
   4.递推：对$t=1,2,\cdots ,T-1$，$${\alpha }_{t+1}(i)=\left[\sum _{j=1}^N{\alpha }_t(j)a_{ji}\right]b_i\left(o_{t+1}\right),i=1,2,\cdots ,N$$
4. 终止：$$P(O|\lambda )=\sum _{i=1}^N{\alpha }_T(i)$$

    前向算法之所以可以提高HMM的观测序列概率计算速度，是因为在每一个时刻计算时，都可以直接引用上一个时刻的计算结果，因此，其时间复杂度是$O\left(N^{2}T\right)$，比直接计算法小很多。

2.2.3 后向算法

    后向概率：给定隐马尔可夫模型$\lambda$，定义在时刻$t$状态为$q_i$的条件下，从$t+1$到$T$的部分观测序列为$o_{t+1},o_{t+2},\cdots ,o_T$的概率为后向概率，记作$${\beta }_t(i)=P\left(o_{t+1},o_{t+2},\cdots ,o_T|i_t=q_i,\lambda \right)$$

    观测序列概率的后向算法：

1. 输入：隐马尔可夫模型$\lambda$，观测序列$O$；
2. 输出：观测序列概率$P(O|\lambda )$
3. 初值：$${\beta }_T(i)=1,i=1,2,\cdots ,N$$
4. 递推：对$t=T-1,T-2,\cdots ,1$，
   $${\beta }_t(i)=\sum _{j=1}^N{a}_{ij}{b}_j\left(o_{t+1}\right){\beta }_{t+1}(j),i=1,2,\cdots ,N$$
5. 终止：$$P(O|\lambda )=\sum _{i=1}^N{\pi }_i{b}_i\left(o_1\right){\beta }_1(i)$$

    根据前向概率和后向概率的定义，可以将观测序列概率$P(O|\lambda )$统一写成：
$$P(O|\lambda )=\sum _{i=1}^N\sum _{j=1}^N{\alpha }_t(i)a_{ij}{b}_j\left(o_{t+1}\right){\beta }_{t+1}(j),t=1,2,\cdots ,T-1$$

2.2.4 一些概率值与期望的计算

    给定模型$\lambda$和观测$O$，在时刻$t$处于状态$q_i$的概率，记：
$${\gamma }_t(i)=P\left(i_t=q_i|O,\lambda \right)=\frac{P\left(i_t=q_i,O|\lambda \right)}{P(O|\lambda )}$$由前向概率和后向概率的定义可知：
$${\alpha }_t(i){\beta }_t(i)=P\left(i_t=q_i,O|\lambda \right)$$因此有：
$${\gamma }_t(i)=\frac{{\alpha }_t(i){\beta }_t(i)}{P(O|\lambda )}=\frac{{\alpha }_t(i){\beta }_t(i)}{{\sum }_{j=1}^N{\alpha }_t(j){\beta }_t(j)}$$

    给定模型$\lambda$和观测$O$，在时刻$t$处于状态$q_i$且在时刻$t+1$处于状态$q_j$的概率，记为：
$${\xi }_t(i,j)=P\left(i_t=q_i,i_{t+1}=q_j|O,\lambda \right)$$可以通过前向后向概率计算：
$${\xi }_i(i,j)=\frac{P\left(i_t=q_i,i_{t+1}=q_j,O|\lambda \right)}{P(O|\lambda )}=\frac{P\left(i_t=q_i,i_{t+1}=q_j,O|\lambda \right)}{{\sum }_{i=1}^N{\sum }_{j=1}^{N}P\left(i_t=q_i,i_{t+1}=q_j,O|\lambda \right)}$$而
$$P\left(i_t=q_i,i_{t+1}=q_j,O|\lambda \right)={\alpha }_t(i)a_{ij}{b}_j\left(o_{t+1}\right){\beta }_{t+1}(j)$$因此有
$${\xi }_t(i,j)=\frac{{\alpha }_t(i)a_{ij}{b}_j\left(o_{t+1}\right){\beta }_{t+1}(j)}{{\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_t(i)a_{ij}{b}_j\left(o_{t+1}\right){\beta }_{t+1}(j)}$$

2.3 学习算法

    HMM的学习算法是指对模型的参数$\pi 、A、B$进行估计，一般根据训练数据是包括观测序列和对应的状态序列还是只包括观测序列，可以分别由监督学习和非监督学习实现。

2.3.1 监督学习方法

    假设已给训练数据集包含$S$个长度相同的观测序列和对应的状态序列 { ( O 1 , I 1 ) , ( O 2 , I 2 ) , ⋯   , ( O s , I s ) } \left\{\left(O_{1}, I_{1}\right),\left(O_{2}, I_{2}\right), \cdots,\left(O_{s}, I_{s}\right)\right\} {(O1​,I1​),(O2​,I2​),⋯,(Os​,Is​)}，那么可以利用极大似然估计法来估计隐马尔可夫模型的参数。具体的方法如下：

1. 转移概率$a_{ij}$的估计：设样本中时刻$t$处于状态$i$时刻$t+1$转移到状态$j$的频数为$A_{ij}$，那么状态转移概率$a_{ij}$的估计是：$${\hat{a}}_{ij}=\frac{A_y}{{\sum }_{j=1}^N{A}_{ij}},i=1,2,\cdots ,N;j=1,2,\cdots ,N$$
2. 观测概率$b_j(k)$的估计：设样本中状态为$j$b并观测为$k$的频数是$B_{jk}$，那么状态为$j$观测为$k$的概率$b_j(k)$的估计为：$${\hat{b}}_j(k)=\frac{B_{jk}}{{\sum }_{k=1}^M{B}_{jk}},j=1,2,\cdots ,N_{i}k=1,2,\cdots ,M$$
3. 初始状态概率${\pi }_i$的估计：${\hat{\pi }}_i$为$S$个样本中初始状态为$q_i$的频率。

2.3.2 非监督学习方法——Baum-Welch算法

    由于监督学习需要大量的标注数据，需要耗费很多的人力物力，因此，有时会采用非监督学习方法来进行参数估计。假设给定训练数据集只包含$S$个长度为$T$的观测序列 { O 1 , O 2 , ⋯   , O s } \left\{O_{1}, O_{2}, \cdots, O_{s}\right\} {O1​,O2​,⋯,Os​}而没有对应的状态序列，我们将观测序列看作观测数据$O$，而状态序列看作不可观测的隐数据$I$，这样一来，HMM模型就可以看作是一个含有隐变量的概率模型：
$$P(O|\lambda )=\sum _{I}P(O|I,\lambda )P(I|\lambda )$$因此，可以采用EM算法来进行参数估计。

1. 确定完全数据的对数似然函数：所有观测数据写成$O=\left(o_1,o_2,\cdots ,o_T\right)$，所有隐数据写成$I=\left(i_1,i_2,\cdots ,i_T\right)$，完全数据为$(O,I)=\left(o_1,o_2,\cdots ,o_T,i_1,i_2,\cdots ,i_T\right)$，完全数据的对数似然函数是$\log P(O,I|\lambda )$。
2. E步：求Q函数$$Q(\lambda ,\overline{\lambda })=\sum _I\log P(O,I|\lambda )P(O,I|\overline{\lambda })$$其中，$\overline{\lambda }$是HMM模型参数的当前估计值，$\lambda$是要极大化的HMM模型参数。
   因此，Q函数可以写为：
   
3. M步：分别对参数进行极大化，第1项可以写为：$$\sum _I\log {\pi }_{i_b}P(O,I|\overline{\lambda })=\sum _{i=1}^N\log {\pi }_{i}P\left(O,i_1=i|\overline{\lambda }\right)$$根据${\sum }_{i=1}^N{\pi }_i=1$，利用拉格朗日乘子法，写出拉格朗日函数：
   $$\sum _{i=1}^N\log {\pi }_{i}P\left(O,i_1=i|\overline{\lambda }\right)+\gamma \left(\sum _{i=1}^N{\pi }_i-1\right)$$对其求偏导并令其为0可得：$${\pi }_i=\frac{P\left(O,i_1=i|\overline{\lambda }\right)}{P(O|\overline{\lambda })}$$，用${\gamma }_t(i),{\xi }_i(i,j)$表示可以写为：
   $${\pi }_i={\gamma }_1(i)$$同理，对转移概率和观测概率进行求偏导可得：
   $$a_{ij}=\frac{{\sum }_{i=1}^{T-1}{\xi }_i(i,j)}{{\sum }_{i=1}^{T-1}{\gamma }_i(i)}$$
   $$b_j(k)=\frac{{\sum }_{t=1,o_k=v_k}^T{\gamma }_t(j)}{{\sum }_{t=1}^T{\gamma }_t(j)}$$

2.4 预测算法

    预测算法是指当给定模型$\lambda$和观测序列$O$，求概率最大的状态序列。一般有两种算法：近似算法和维特比算法。

2.4.1 近似算法

    近似算法的思想是，在每个时刻$t$选择在该时刻最有可能出现的状态$i_t^{\ast }$，从而得到一个状态序列$I^{\ast }=\left(i_1^{\ast },i_2^{\ast },\cdots ,i_T^{\ast }\right)$，将它作为预测的结果。

    给定HMM模型$\lambda$和观测序列$O$，在时刻$t$处于状态$q_i$的概率${\gamma }_t(i)$为：
$${\gamma }_t(i)=\frac{{\alpha }_t(i){\beta }_t(i)}{P(O|\lambda )}=\frac{{\alpha }_t(i){\beta }_t(i)}{{\sum }_{j=1}^N{\alpha }_t(j){\beta }_t(j)}$$在每一个时刻$t$最有可能的状态：
$$i_t^{\ast }=\arg \underset{1⩽i⩽N}{\max }\left[{\gamma }_t(i)\right],t=1,2,\cdots ,T$$从而得到状态序列$$I^{\ast }=\left(i_1^{\ast },i_2^{\ast },\cdots ,i_T^{\ast }\right)$$

    虽然近似计算思想简单，但是预测的序列可能有实际不发生的部分，即有可能出现转移概率为0的相邻状态，没法保证整体上的状态序列是最有可能的。

2.4.2 维特比算法

    维特比算法则通过动态规划求概率最大的路径，每一条路径即对应着一个状态序列。维特比算法从时刻$t=1$开始，递推地计算在时刻$t$状态为$i$的各条部分路径的最大概率，直到得到时刻$t=T$状态为$i$的各条路径的最大概率，时刻$t=T$的最大概率记为最优路径的概率$P^{\ast }$，最优路径的终结点$i_T^{\ast }$也同时得到，之后，从终结点开始，由后向前逐步求得结点$i_{T-1}^{\ast },\cdots ,i_1^{\ast }$，最终得到最优路径$I^{\ast }=\left(i_1^{\ast },i_2^{\ast },\cdots ,i_T^{\ast }\right)$。

    首先定义两个变量$\delta$和$\psi$，定义在时刻$t$状态为$i$的所有单个路径$\left(i_1,i_2,\cdots ,i_t\right)$中概率最大值为$${\delta }_t(i)=\underset{i_1,i_2,\cdots {,}_{t-1}}{\max }P\left(i_t=i,i_{t-1},\cdots ,i_1,o_t,\cdots ,o_1|\lambda \right),i=1,2,\cdots ,N$$由定义可得$\delta$的递推公式：

    定义在时刻$t$状态为$i$的所有单个路径$\left(i_1,i_2,\cdots ,i_{t-1},i\right)$中概率最大的路径的第$t-1$个结点为：
$${\psi }_t(i)=\arg \underset{1⩽j⩽N}{\max }\left[{\delta }_{t-1}(j)a_{ji}\right],i=1,2,\cdots ,N$$

    维特比算法：

1. 输入：模型$\lambda =(A,B,\pi )$和观测$O=\left(o_1,o_2,\cdots ,o_T\right)$
2. 输出：最优路径$I^{\ast }=\left(i_1^{\ast },i_2^{\ast },\cdots ,i_T^{\ast }\right)$
3. 初始化：$$\begin{array}{cc}{\delta }_1(i)={\pi }_i{b}_i\left(o_1\right),& i=1,2,\cdots ,N\\ {\psi }_1(i)=0,& i=1,2,\cdots ,N\end{array}$$
   4.递推，对$t=2,3,\cdots ,T$
   
4. 终止：
   
5. 最终路径回溯。对$t=T-1,T-2,\cdots ,1$
   $$i_t^{\ast }={\psi }_{t+1}\left(i_{t+1}^{\ast }\right)$$求得最优路径$I^{\ast }=\left(i_1^{\ast },i_2^{\ast },\cdots ,i_T^{\ast }\right)$