HMM算法原理

HMM算法背景

隐马尔可夫模型 (HMM) 是一种用于标注问题的统计学习模型，描述由隐藏的马尔可夫链随机生成观测序列的过程，是一种生成模型。其被广泛的应用于语音识别、生物信息、模式识别和自然语言处理等领域。

算法的基本概念

算法的定义

隐马尔可夫模型是关于时序的概率模型，描述了一个由隐藏的马尔可夫观测随机序列的过程。
隐藏的马尔可夫链随机生成的序列称为状态序列记为$$I=(i_1,i_2,\cdots ,i_T)$$每个状态会生成一个观测，故将生成的观测序列记为$$O=(o_1,o_2,\cdots ,o_T)$$
同时记所有可能的状态集合为$$Q=(q_1,q_2.\cdots ,q_N)$$所有可能的观测集合为$$V=(v_1,v_2,\cdots ,v_M)$$
其中$T$为序列的长度，$N$为状态的总数，$M$为观测值的总数

同时定义了状态转移矩阵
$$A=[a_{ij}{]}_{N\times N}{a}_{ij}=P(i_{t+1}=q_j|i_t=q_i)i,j\in (1,2,\cdots ,N)$$$a_{ij}$是指$t$时刻状态为$q_i$转移到$t+1$时刻状态$q_j$的概率

再定义发射矩阵$$B=[b_j(k){]}_{N\times M}{b}_j(k)=P(o_t=v_k|i_t=q_j)k\in [1,M],j\in [1,N]$$$b_j(k)$是指$t$时刻状态为$q_j$的条件下产生观测序列为$v_k$的概率

初始状态概率向量$$\pi =({\pi }_i){\pi }_i=P(i_1=q_i)i\in (1,2,\cdots ,N)$$${\pi }_i$指$t=1$时刻状态处于$q_i$的概率

所以隐马尔可夫模型由初试状态概率向量$\pi$、状态转移矩阵$A$和发射矩阵$B$矩阵，故隐马尔可夫模型$\lambda$可以记为$$\lambda =(\pi ,A,B)$$

隐马尔可夫模型的俩个假设

隐马尔可夫模型的俩个假设分别为齐次马尔可夫性假设和观测独立性假设

齐次马尔可夫性假设，其假设了时刻$t$的状态$i_t$只依赖于其前一时刻的状态，与其它时刻的状态和所有的观测序列无关，即
$$P(i_t|o_1,o_2,\cdots ,o_t,i_1,i_2,\cdots ,i_{t-1})=P(i_t|i_{t-1})$$
观测独立性假设，其假设了任意时刻的观测值只依赖于该时刻马尔可夫链的状态，与其他观测状态和状态无关，即
$$P(o_t|i_1,i_2\cdots ,i_t,o_1,o_2,\cdots ,o_{t-1})=p(o_t|i_t)$$

HMM算法的三个问题

隐马尔可夫主要有三大问题需要解决，分别是概率计算问题、学习问题和解码问题，接下来分别讨论和解决问题

概率计算问题—向前和向后算法

对于概率计算问题就是再给定的参数$\lambda$的前提下，如何求$P(O|\lambda )$
首先
$$P(O|\lambda )=\sum _{I}P(I,O|\lambda )=\sum _{I}P(O|I,\lambda )P(I|\lambda )$$其中$P(I|\lambda )$可以分解为$$P(I|\lambda )=P(i_1,i_2,\cdots ,i_T|\lambda )=P(i_T|i_1,i_2,\cdots ,i_{T-1},\lambda )\cdot P(i_{T-1},\cdots ,i_1|\lambda )$$$$=P(i_T|i_{T-1})\cdot P(i_{T-1},\cdots ,i_1|\lambda )=a_{i_{t-1}{i}_t}\cdot P(i_{T-1},\cdots ,i_1|\lambda )$$其中$P(i_T|i_1,i_2,\cdots ,i_{T-1},\lambda )=P(i_T|i_{T-1})$是根据模型假设得到的
这里我们可以发现$\cdot P(i_T,\cdots ,i_1|\lambda )$是可以切分成多个$a_{ij}$的，只要重复地使用条件概率公式，故有$$P(I|\lambda )=P(i_1|\lambda )\prod _{t=2}^T{a}_{i_{t-1},i_t}={\pi }_i\prod _{t=2}^T{a}_{i_{t-1},i_t}$$

同理，根据模型假设对$P(O|I,\lambda )$进行类似的操作，凑出$P(o_t|i_t)$的形式，即
$$\begin{array}{rl}P(O|I,\lambda )& =P(o_1,o_2,\cdots ,o_t|i_1,i_2,\cdots ,i_t,\lambda )\\ & =P(o_1|o_2,\cdots ,o_t,i_1,i_2,\cdots ,i_t,\lambda )P(o_2,\cdots ,o_t|i_1,i_2,\cdots ,i_t,\lambda )\\ & =P(o_1|i_1)P(o_2,\cdots ,o_t|i_1,i_2,\cdots ,i_t,\lambda )\\ & =b_{i_t}(o_1)\cdot P(o_2,\cdots ,o_t|i_1,i_2,\cdots ,i_t,\lambda )\\ & =\prod _{t=1}^T{b}_{i_t}(o_t)\end{array}$$

所以得到$$\begin{array}{rl}P(O|\lambda )& =\sum _I{\pi }_i\cdot \prod _{t=2}^T{a}_{i_{t-1},i_t}\cdot \prod _{t=1}^T{b}_{i_t}(o_t)\\ & =\sum _{i_1}\cdots \sum _{i_2}\sum _{i_T}{\pi }_i\cdot \prod _{t=2}^T{a}_{i_{t-1},i_t}\cdot \prod _{t=1}^T{b}_{i_t}(o_t)\end{array}$$

这里的${\sum }_{i_t}$是指对$t$时刻所有可能的状态取值$i_t$进行累加求和，所以上诉公式的算法复杂度为$O(T{N}^T)$，复杂度十分的高，所以使用向前向后算法降低算法的复杂度。

前向算法

前向算法中，我们引入记号$\alpha$，且${\alpha }_t(i)=P(o_1,\cdots ,o_t,i_t=q_t|\lambda )$，则其代表的就是上图中虚线部分，即给定参数$\lambda$下，$t$时刻状态为$q_i$且观测序列为$o_1,\cdots ,o_t$的概率。易知${\alpha }_T(i)=P(O,i_T=q_i|\lambda )$，所以有$$P(O|\lambda )=\sum _{i=1}^{n}P(O,i_T=q_i|\lambda )=\sum _{i=1}^N{\alpha }_T(i)$$
所以这里我们就构建了$P(O|\lambda )$与$\alpha$的关系式，接下来只需要找到${\alpha }_t(i)$和${\alpha }_{t+1}(j)$的递推关系，就可以实现前向算法了
$${\alpha }_{t+1}(j)=P(o_1,o_2,\cdots ,o_t,o_{t+1},i_{t+1}=q_j|\lambda )$$
这里我们要凑成${\alpha }_t(i)$就要引入一个变量$i_t$，故$${\alpha }_t(j)=\sum _{i=1}^{N}P(o_1,\cdots ,o_{t+1},i_t=q_i,i_{t+1}=q_j|\lambda )$$
接下来就可以开始使用条件概率公式简化了
$$\begin{array}{rl}{\alpha }_{t+1}(j)& =\sum _{i=1}^{N}P(o_1,\cdots ,o_{t+1},i_t=q_i,i_{t+1}=q_j|\lambda )\\ & =\sum _{i=1}^{N}P(o_{t+1}|o_1,\cdots ,o_t,i_t=q_i,i_{t+1}=q_j,\lambda )\cdot P(o_1,\cdots ,o_t,i_t=q_i,i_{t+1}=q_j|\lambda )\\ & =\sum _{i=1}^{N}P(o_{t+1}|i_{t+1}=q_j)P(i_{t+1}=q_j|o_1,\cdots ,o_t,i_t=q_i,\lambda )P(o_1,\cdots ,o_t,i_t=q_i|\lambda )\\ & =\sum _{i=1}^N{b}_j(o_{t+1})\cdot P(i_{t+1}=q_j|i_t=q_i)\cdot {\alpha }_t(i)\\ & =\sum _{i=1}^N{b}_j(o_{t+1})\cdot a_{ij}\cdot {\alpha }_t(i)\end{array}$$

所以有${\alpha }_{t+1}(j)={\sum }_{i=1}^N{b}_j(o_{t+1})\cdot a_{ij}\cdot {\alpha }_t(i)$

通过上图我们可以发现，时刻$t$转移到$t+1$时刻的算法复杂度为$N^2$，共有$T-1$次转移，所以算法复杂度为$O(T{N}^2)$，算法复杂度有了明显的下降

后向算法

后向算法中我们引入记号$\beta$，且${\beta }_t(j)=P(o_{t+1},o_{t+2},\cdots ,o_T|i_t=q_i,\lambda )$，表示在给定$t$时刻状态为$q_j$的状态为$q_i$的条件下，观测序列为$o_{t+1},\cdots ,o_T$的概率。易知${\beta }_1(i)=P(o_2,\cdots ,o_T|i_1=q_i,\lambda )$
$$\begin{array}{rl}P(O|\lambda )& =P(o_1,\cdots ,o_T|\lambda )\\ & =\sum _{i=1}^{N}P(o_1,\cdots ,o_T,i_1=q_i|\lambda )\\ & =\sum _{i=1}^{N}P(o_1,\cdots ,o_T|i_1=q_i,\lambda )P(i_1=q_i|\lambda )\\ & =\sum _{i=1}^{N}P(o_2,\cdots ,o_T|i_1=q_i,\lambda )P(o_1|o_2,\cdots ,o_T,i_1=q_i,\lambda ){\pi }_i\\ & =\sum _{i=1}^N{\beta }_1(i)\cdot P(o_1|i_1=q_i)\cdot {\pi }_i\\ & =\sum _{i=1}^N{\beta }_1(i)\cdot b_i(o_1)\cdot {\pi }_i\end{array}$$

接下来就是找递推公式了
$$\begin{array}{rl}{\beta }_t(i)& =P(o_{t+1},o_{t+2},\cdots ,o_T|i_t=q_i,\lambda )\\ & =\sum _{j=1}^{N}P(o_{t+1},o_{t+2},\cdots ,o_T,i_{t+1}=q_j|i_t=q_i,\lambda )\\ & =\sum _{j=1}^{N}P(i_{t+1}=q_j|o_{t+1},o_{t+2},\cdots ,o_T,i_t=q_i,\lambda )P(o_{t+1},o_{t+2},\cdots ,o_T|i_t=q_i,i_{t+1}=q_j,\lambda )\\ & =\sum _{j=1}^{N}P(i_{t+1}=q_j|i_t=q_i)P(o_{t+1},o_{t+2},\cdots ,o_T|i_t=q_i,i_{t+1}=q_j,\lambda )\\ & =\sum _{j=1}^N{a}_{i,j}P(o_{t+1},o_{t+2},\cdots ,o_T|i_{t+1}=q_j,\lambda )\\ & =\sum _{j=1}^N{a}_{i,j}P(o_{t+2},\cdots ,o_T|i_{t+1}=q_j,\lambda )P(o_{t+1}|o_{t+2},\cdots ,o_T,i_{t+1}=q_j,\lambda )\\ & =\sum _{j=1}^N{a}_{i,j}P(o_{t+2},\cdots ,o_T|i_{t+1}=q_j,\lambda )P(o_{t+1}|i_{t+1}=q_j)\\ & =\sum _{j=1}^N{a}_{i,j}\cdot {\beta }_{t+1}(j)\cdot b_j(o_{t+1})\end{array}$$

这样就可以得到递推公式$${\beta }_t(i)=\sum _{j=1}^N{a}_{i,j}\cdot {\beta }_{t+1}(j)\cdot b_j(o_{t+1})$$

学习问题—EM算法

HMM模型的定义$\lambda =(\pi ,A,B)$，目标是${\lambda }^t=({\pi }^t,A^t,B^t)⟶{\lambda }^{t+1}=({\pi }^{t+1},A^{t+1},B^{t+1})$

在EM算法中$${\theta }^{t+1}=\underset{\theta }{\mathrm{argmax}}{\int }_{z}P(z|X,{\theta }^t)\log P(X,z|\theta )$$

其中$x$为观测值对应观测序列$O$，$z$为隐变量对应状态序列$I$，参数$\theta$则对应$\lambda$

所以在HMM中，表达式为$${\lambda }^{t+1}=\underset{\lambda }{\mathrm{argmax}}\sum _I\log P(O,I|\lambda )P(I|O,{\lambda }^t)$$

这里做一个化简，由于$O$和${\lambda }^t$是给定的，所以有$${\lambda }^{t+1}=\underset{I}{\mathrm{argmax}}\log P(O,I|\lambda )\frac{P(O,I|{\lambda }^t)}{P(O|{\lambda }^t)}=\underset{I}{\mathrm{argmax}}logP(O,I|\lambda )\cdot P(O,I|{\lambda }^t)$$

故令$$Q(\lambda ,{\lambda }^t)=\underset{I}{\mathrm{argmax}}logP(O,I|\lambda )\cdot P(O,I|{\lambda }^t)$$

然后将$P(O,I|\lambda )={\pi }_i\cdot {\prod }_{t=2}^T{a}_{i_{t-1},i_t}\cdot {\prod }_{t=1}^T{b}_{i_t}(o_t)$代入

则有$$Q(\lambda ,{\lambda }^t)=\sum _I[\log {\pi }_i+\sum _{t=2}^T{a}_{i_{t-1},i_t}+\sum _{t=1}^T{b}_{i_t}(o_t)]\cdot P(O,I|{\lambda }^t)$$

对于这个问题，我们可以使用EM算法，先假定A,B为常量，求${\pi }^{t+1}$，即$${\pi }^{t+1}=\underset{\pi }{\mathrm{argmax}}\sum _I[\log {\pi }_i+\sum _{t=2}^T{a}_{i_{t-1},i_t}+\sum _{t=1}^T{b}_{i_t}(o_t)]\cdot P(O,I|{\lambda }^t)=\underset{\pi }{\mathrm{argmax}}\sum _I\log {\pi }_i\cdot P(O,I|{\lambda }^t)$$

这里可以做一个化简，即$$\underset{\pi }{\mathrm{argmax}}\sum _I\log {\pi }_{i_t}\cdot P(O,I|{\lambda }^t)=\underset{\pi }{\mathrm{argmax}}\sum _{i_1}\cdots \sum _{i_2}\sum _{i_T}\log {\pi }_{i_t}\cdot P(O,I|{\lambda }^t)=\underset{\pi }{\mathrm{argmax}}\sum _{i_1}\log {\pi }_{i}P(O,i_1|{\lambda }^t)$$

所以这里我们的目标函数为$$\underset{\pi }{\mathrm{argmax}}\sum _{i_1}\log {\pi }_{i}P(O,i_1|{\lambda }^t)$$$$s.t\sum _i{\pi }_i=1$$

这里可以使用拉格朗日乘子法求解，即$$\gamma (\pi ,\eta )=\sum _{i_1}\log {\pi }_{i}P(O,i_1|{\lambda }^t)+\eta (\sum _i{\pi }_i-1)$$

接下来接可以求导了$$\frac{\partial \gamma (\pi ,\eta )}{\partial {\pi }_i}=\frac{1}{{\pi }_i}P(O,i_1|{\lambda }^t)+\eta =0$$

可以求得$$P(O,i_1|{\lambda }^t)+{\pi }_i\eta =0$$

这里对$i_1$做累加就有$$\sum _{i_1}P(O,i_1|{\lambda }^t)+{\pi }_i\eta =P(O|{\lambda }^t)+\eta =0$$

所以解得$\eta =-P(O|{\lambda }^t)$，代入原式中有$$P(O,i_1|{\lambda }^t)+{\pi }_i\eta =P(O,i_1|{\lambda }^t)-P(O|{\lambda }^t){\pi }_i=0$$

所以有$${\pi }_i^{t+1}=\frac{P(O,i_1|{\lambda }^t)}{P(O|{\lambda }^t)}$$上述变量都是给定的，所以可以求得${\pi }^t$，同理也可以求得$A^t$，和$B^{t+1}$。

解码问题—viterbi算法

Decoding问题，是要解决通过寻找最大概率路径的问题。这里我们引入符号${\omega }_t(i)$，记为在时刻$1:t-1$中每个时刻的最大概率。$${\omega }_t(i)=\underset{i_1,i_2,\cdots ,i_{t-1}}{\max }P(o_1,o_2,\cdots ,o_t,i_1,i_2,\cdots ,i_{t-1},i_t=q_i)$$$${\omega }_{t+1}(j)=\underset{1\le i\le N}{\max }{\omega }_t(i)a_{i,j}{b}_j(o_{t+1})$$
其中我们可以用${\zeta }_{t+1}(j)$来记录$y_{t+1}$取$i$时$y_t$的最佳取值，即$${\zeta }_{t+1}(j)=\underset{1\le i\le N}{\mathrm{argmax}}{\omega }_t(i)\cdot a_{i,j}\cdot b_j(o_{t+1})=\underset{1\le i\le N}{\mathrm{argmax}}{\omega }_t(i)\cdot a_{i,j}$$其中$b_j(o_{t+1})$是固定的，所以可以去掉
所以$$i_T^{\ast }=\underset{j=1:N}{\mathrm{argmax}}{\omega }_T(j)$$
然后根据$\zeta$进行回溯获得最佳路径，即$$i_t^{\ast }={\zeta }_{t+1}(i_T^{\ast })$$

通过回溯就可以得到最佳路径为$$i^{\ast }=(i_1^{\ast },i_2^{\ast },\cdots ,i_T^{\ast })$$

通过上述方法，我们就可以实现最大概率路径的寻找

HMM算法的应用场景

HMM的任务场景主要有俩种，一种是$\lambda$未知，通过学习算法去推断$\lambda$；另一种就是$\lambda$已知，去推理后续的一些东西，例如解码、概率计算、Filtering、Smoothing和预测。学习问题、解码问题和概率计算的问题已经在上面详细阐述了。

接下来我们根据这张图完成下列任务的解释

Filtering 任务

Filtering问题是解决$P(z_t|x_1,x_2,\cdots ,x_t)$的计算问题

对于$P(z_t|x_1,x_2,\cdots ,x_t)$，我们可以通过化简得到
$$P(z_t|x_1,x_2,\cdots ,x_t)=\frac{P(x_{1,\cdots ,x_t},z_t)}{P(x_1,\cdots ,x_t)}=\frac{P(x_{1,\cdots ,x_t},z_t)}{{\sum }_{z_t}P(x_1,\cdots ,x_t,z_t)}$$

又因为${\alpha }_t(z_t)=P(x_{1,\cdots ,x_t},z_t)$，而$P(x_1,\cdots ,x_t,z_t)$是常量，所以可以有$$P(z_t|x_1,x_2,\cdots ,x_t)\propto {\alpha }_t(z_t)$$

Smoothing任务

Smoothing问题是在给定观测值$x_1,x_2,\cdots ,x_T$之后，求$z_t$，即$P(z_t|x_1,\cdots ,x_T)$
与Filtering任务类似，我们可以简化为$$P(z_t|x_1,\cdots ,x_T)=\frac{P(x_1,\cdots ,x_T,z_t)}{{\sum }_{z_t}P(x_1,\cdots ,x_T,z_t)}$$

对于$P(x_1,\cdots ,x_T,z_t)$可以做一下处理$$\begin{array}{rl}P(x_1,\cdots ,x_T,z_t)& =P(x_{t+1},\cdots ,x_T|x_1,\cdots ,x_{t,}{z}_t)P(x_1,\cdots ,x_t,z_t)\\ & =P(x_{t+1},\cdots ,x_T|x_1,\cdots ,x_{t,}{z}_t){\alpha }_t(z_t)\\ & =P(x_{t+1},\cdots ,x_T|z_t)\cdot {\alpha }_t(z_t)\\ & ={\beta }_t(z_t){\alpha }_t(z_t)\end{array}$$
其中$P(x_{t+1},\cdots ,x_T|x_1,\cdots ,x_{t,}{z}_t)=P(x_{t+1},\cdots ,x_T|z_t)$，可以用贝叶斯网中的图论分析解释，由于$x_{1:t}\to z_t\to x_{t+1:T}$的路径是唯一的，如果缺失$z_t$则会造成阻塞，所以在给定$z_t$的条件下$x_{1:t}$与$x_{t:T}$相互独立。所以才有$P(x_{t+1},\cdots ,x_T|x_1,\cdots ,x_{t,}{z}_t)=P(x_{t+1},\cdots ,x_T|z_t)$

所以$P(z_t|x_1,\cdots ,x_T)\propto P(x_1,\cdots ,x_T,z_t)={\beta }_t(z_t){\alpha }_t(z_t)$，同时它也被称为前向后向算法

Prediction任务

预测任务主要是已知$x_1,\cdots ,x_t$来预测$x_{t+1}$和$z_{t+1}$。即$P(z_{t+1}|x_1,\cdots ,x_t)$和$P(x_{t+1}|x_1,\cdots ,x_t)$

对于$P(z_{t+1}|x_1,\cdots ,x_t)$，我们可以引入$z_t$，然后在进行变换，具体如下$$\begin{array}{rl}P(z_{t+1}|x_{1:t})& =\sum _{z_t}P(z_{t+1},z_t|x_{1:t})\\ & =\sum _{z_t}P(z_t|x_{1:t})P(z_{t+1}|z_t,x_{1:t})\\ & =\sum _{z_t}{\alpha }_t(z_t)\cdot P(z_{t+1}|z_t)\\ & =\sum _{z_t}{\alpha }_t(z_t)a_{z_t,z_{t+1}}\end{array}$$

对于 $P(x_{t+1}|x_1,\cdots ,x_t)$，我们可以引入$z_{t+1}$，与$P(z_{t+1}|x_1,\cdots ,x_t)$构成联系，从而求解，具体如下
$$\begin{array}{rl}P(x_{t+1}|x_{1:t})& =\sum _{z_{t+1}}P(x_{t+1},z_{t+1}|x_{1:t})\\ & =\sum _{z_{t+1}}P(z_{t+1}|x_{1:t})P(x_{t+1}|z_{t+1},x_{1:t})\\ & =\sum _{z_{t+1}}P(z_{t+1}|x_{1:t})P(x_{t+1}|z_{t+1})\\ & =\sum _{z_{t+1}}P(z_{t+1}|x_{1:t})b_{z_{t+1}}(x_{t+1})\\ & =\sum _{z_t}{\alpha }_t(z_t)a_{z_t,z_{t+1}}\cdot b_{z_{t+1}}(x_{t+1})\end{array}$$

以上内容属于个人学习总结，如有错误请指正