【西瓜书笔记】11. 隐马尔科夫模型（1）

定义

定义：隐马尔科夫模型(Hidden Markov Model, HMM)是关于时序的概率模型，描述由一个隐藏的马尔科夫链随机生成不可观测的状态随机序列，再由各个状态生成一个观测而产生观测随机序列的过程。隐藏的马尔科夫链速记生成的状态的序列，成为状态序列。每一个状态生成一个观测，而由此产生的观测的随机序列，成为观测序列，序列的每一个位置又可以看做是一个时刻。

假设Q是所有N种可能的状态的集合： Q = { q 1 , q 2 , … , q N } Q=\left\{q_{1}, q_{2}, \ldots, q_{N}\right\} Q={q1​,q2​,…,qN​}, V是所有M种可能的观测的集合： V = { v 1 , v 2 , … , v M } V=\left\{v_{1}, v_{2}, \ldots, v_{M}\right\} V={v1​,v2​,…,vM​}。I是长度为T的状态序列，O是对应的观测序列：$I=\left(i_1,i_2,\dots ,i_T\right),O=\left(o_1,o_2,\dots ,o_T\right)$.

设A是状态转移概率矩阵：$A={\left[a_{ij}\right]}_{N\times N}$，其中，$a_{ij}=P\left(i_{t+1}=q_j\mid i_t=q_i\right)i=1,2,\dots ,N;j=1,2,\dots ,N$。

又设B是观测概率矩阵：$B={\left[b_{jk}\right]}_{N\times M}$，其中，$b_{jk}=P\left(o_t=v_k\mid i_t=q_j\right),j=1,2,\dots N;k=1,2,\dots ,M$。

$\pi$是初始状态概率向量：$\pi =\left({\pi }_1,{\pi }_2,\dots ,{\pi }_N\right)$，其中，${\pi }_i=P\left(i_1=q_i\right),i=1,2,\dots ,N$。隐马尔科夫模型由初始状态概率向量$\pi$，状态转移概率矩阵A和观测概率矩阵B决定。$\pi$和A决定状态序列，B决定观测序列。因此，隐马尔科夫模型$\lambda$可以用三元符号表示，即$\lambda =(A,B,\pi )$。

两个基本假设

假设1：其次马尔科夫假设，即假设隐藏的马尔科夫链在任意时刻$t$的状态只依赖于其前一时刻的状态，与其他时刻的状态及观测无关，也与时刻$t$无关：
$$P\left(i_t\mid i_{t-1},o_{t-1},\dots ,i_1,o_1\right)=P\left(i_t\mid i_{t-1}\right)$$

假设2：观测独立性假设，即假设任意时刻的观测只依赖于该时刻的马尔科夫链的状态，与其他观测与状态无关：
$$P\left(o_t\mid i_T,o_T,i_{T-1},o_{T-1},\dots ,i_t,i_{t-1},o_{t-1},\dots ,i_1,o_1\right)=P\left(o_t\mid i_t\right)$$

三个基本问题

问题1：概率计算问题。给定模型$\lambda =(A,B,\pi )$和观测序列$O=\left(o_1,o_2,\dots ,o_T\right)$，计算在模型$\lambda$下观测序列O出现的概率$P(O\mid \lambda )$。

问题2：学习问题。已知观测序列$O=\left(o_1,o_2,\dots ,o_T\right)$估计模型$\lambda =(A,B,\pi )$

的参数，使得在该模型下观测序列概率$P(O\mid \lambda )$最大，即用极大似然估计的方法估计参数。

问题3：预测问题。也称为解码问题，已知模型$\lambda =(A,B,\pi )$和观测序列$O=\left(o_1,o_2,\dots ,o_T\right)$，求对给定规则序列条件概率$P(I\mid O)$最大的状态序列$I=\left(i_1,i_2,\dots ,i_T\right)$，即给定观测序列，求最有可能的对应的状态序列。

概率计算问题

直接计算法

对于求$P(O\mid \lambda )$最直接的方法就是按照概率公式直接计算，即：
$$\begin{array}{rl}P(O\mid \lambda )& =\sum _{I}P(O,I\mid \lambda )\\ & =\sum _{I}P(O\mid I,\lambda )P(I\mid \lambda )\end{array}$$
这里${\pi }_i=P(i_1=q_i)$。其中，$P(I\mid \lambda )$表示给定模型参数时，产生状态序列$I=\left(i_1,i_2,\dots ,i_T\right)$的概率：
$$P(I\mid \lambda )={\pi }_{i_1}{a}_{i_1{i}_2}{a}_{i_2{i}_3}\cdots a_{i_{T-1}{i}_T}$$
$P(O\mid I,\lambda )$表示给定模型参数且状态序列为$I=\left(i_1,i_2,\dots ,i_T\right)$时，产生观测序列$O=\left(o_1,o_2,\dots ,o_T\right)$的概率：
$$P(O\mid I,\lambda )=b_{i_1{o}_1}{b}_{i_2{o}_2}\dots b_{i_T{o}_T}$$
所以
$$\begin{array}{rl}P(O\mid \lambda )& =\sum _{I}P(O\mid I,\lambda )P(I\mid \lambda )\\ & =\sum _{i_1,i_2,\dots ,i_T}{\pi }_{i_1}{b}_{i_1{o}_1}{a}_{i_1{i}_2}{b}_{i_2{o}_2}\cdots a_{i_{T-1}{i}_T}{b}_{i_T{o}_T}\end{array}$$
但是其中，${\sum }_{i_1,i_2\dots ,i_T}$共有$N^T$种可能，计算${\pi }_{i_1}{b}_{i_1{O}_1}{a}_{i_1{i}_2}{b}_{i_2{O}_2}\cdots a_{i_{T-1}{i}_T}{b}_{i_T{O}_T}$的时间复杂度为$O(T)$，所以上式整体时间复杂度为$O\left(T{N}^T\right)$，显然时间复杂度太高了，这种算法不可行。

前向算法

首先定义前向概率：给定隐马尔科夫模型$\lambda$,定义到时刻t部分观测序列为$o_1,o_2,\dots ,o_t$且状态为$q_i$的概率为前向概率，记作：
$${\alpha }_t(i)=P\left(o_1,o_2,\dots ,o_t,i_t=q_i\mid \lambda \right)$$

根据前向概率的定义可推得：
$$P(O\mid \lambda )=P\left(o_1,o_2,\dots ,o_T\mid \lambda \right)=\sum _{i=1}^{N}P\left(o_1,o_2,\dots ,o_T,i_T=q_i\mid \lambda \right)=\sum _{i=1}^N{\alpha }_T(i)$$
于是求解$P(O\mid \lambda )$的问题被转化为了求解前向概率${\alpha }_t(i)$的问题。由前向概率的定义可知：
$$\begin{array}{rl}& {\alpha }_1(i)=P\left(o_1,i_1=q_i\mid \lambda \right)={\pi }_i{b}_{i{o}_1}\\ & {\alpha }_2(i)=P\left(o_1,o_2,i_2=q_i\mid \lambda \right)=\left[\sum _{j=1}^N{\alpha }_1(j)a_{ji}\right]\times b_{i{o}_2}\\ & {\alpha }_3(i)=P\left(o_1,o_2,o_3,i_3=q_i\mid \lambda \right)=\left[\sum _{j=1}^N{\alpha }_2(j)a_{ji}\right]\times b_{i{o}_3}\end{array}$$

第2行对应

依此类推可得如下递推公式：
$${\alpha }_{t+1}(i)=\left[\sum _{j=1}^N{\alpha }_t(j)a_{ji}\right]\times b_{i{o}_{t+1}}$$
因此：
$${\alpha }_T(i)=\left[\sum _{j=1}^N{\alpha }_{T-1}(j)a_{ji}\right]\times b_{i{o}_T}$$
将上式所求结果代回：
$$P(O\mid \lambda )=P\left(o_1,o_2,\dots ,o_T\mid \lambda \right)=\sum _{i=1}^{N}P\left(o_1,o_2,\dots ,o_T,i_T=q_i\mid \lambda \right)=\sum _{i=1}^N{\alpha }_T(i)$$
即可求得$P(O\mid \lambda )$。

后向算法

同前向算法一样，首先定义后向概率：给定隐马尔科夫模型$\lambda$，定义在时刻t状态为$q_i$的条件下，从$t+1$到T的部分观测序列为$o_{t+1},o_{t+2},\dots ,o_T$的概率为后向概率，记作：
$${\beta }_t(i)=P\left(o_{t+1},o_{t+2},\dots ,o_T\mid i_t=q_i,\lambda \right)$$

由后向概率的定义可知
$$\begin{array}{rl}{\beta }_T(i)& =P\left(i_T=q_i,\lambda \right)=1\\ {\beta }_{T-1}(i)& =P\left(o_T\mid i_{T-1}=q_i,\lambda \right)=\sum _{j=1}^N{a}_{ij}{b}_{j{o}_T}{\beta }_T(j)\\ {\beta }_{T-2}(i)& =P\left(o_{T-1},o_T\mid i_{T-2}=q_i,\lambda \right)=\sum _{j=1}^N{a}_{ij}{b}_{j{o}_{u-1}}{\beta }_{T-1}(j)\end{array}$$
第2和第3行分别对应

依次类推可得递推公式：
$${\beta }_t(i)=\sum _{j=1}^N{a}_{ij}{b}_{j{o}_{t+1}}{\beta }_{t+1}(j)$$
根据递推公式可求得${\beta }_1(i)$又：
$$P(O\mid \lambda )=P\left(o_1,o_2,\dots ,o_T\mid \lambda \right)=\sum _{i=1}^{N}P\left(o_1,i_1=q_i\mid \lambda \right)P\left(o_2,o_3,\dots ,o_T\mid i_1=q_i,\lambda \right)=\sum _{i=1}^N{\pi }_i{b}_{i{o}_1}{\beta }_1(i)$$
所以也可以求得$P(O\mid \lambda )$

综上可以看出前向算法和后向算法都是先计算局部概率，然后递推到全局，每一时刻的概率计算都会用上前一时刻计算出的结果，整体的时间复杂度大约是$O(T{N}^2)$。比如${\beta }_{T-1}(i)$，因为每一个i要先遍历j求和N次，然后再针对i有N种情况，时间复杂度是$N^2$，然后总共有T个$\beta$。总体复杂度明显小于直接计算法的$O\left(T{N}^T\right)$。

利用前向概率和后向概率，可以得到关于单个状态和两个状态概率的一些计算公式：

公式1

给定模型参数$\lambda$和观测$O$，在时刻$t$处于状态$q_i$的概率，记为：${\gamma }_t(i)=P\left(i_t=q_i\mid O,\lambda \right)$

可以通过前向概率和后向概率进行计算，推导如下：
$${\gamma }_t(i)=P\left(i_t=q_i\mid O,\lambda \right)=\frac{P\left(i_t=q_i,O\mid \lambda \right)}{P(O\mid \lambda )}=\frac{P\left(i_t=q_i,O\mid \lambda \right)}{{\sum }_{j=1}^{N}P\left(i_t=q_j,O\mid \lambda \right)}$$
又由前向概率和后向概率的定义可知：
$${\alpha }_t(i){\beta }_t(i)=P\left(o_1,o_2,\dots ,o_t,i_t=q_i\mid \lambda \right)P\left(o_{t+1},o_{t+2},\dots ,o_T\mid i_t=q_i,\lambda \right)=P\left(i_t=q_i,O\mid \lambda \right)$$
所以
$${\gamma }_t(i)=\frac{P\left(i_t=q_i,O\mid \lambda \right)}{{\sum }_{j=1}^{N}P\left(i_t=q_j,O\mid \lambda \right)}=\frac{{\alpha }_t(i){\beta }_t(i)}{{\sum }_{j=1}^N{\alpha }_t(j){\beta }_t(j)}$$

公式2

给定模型参数$\lambda$和观测$O$，在时刻$t$处于状态$q_i$且在时刻$t+1$处于状态$q_j$的概率，记为：${\xi }_t(i,j)=P\left(i_t=q_i,i_{t+1}=q_j\mid O,\lambda \right)$

可以通过前向概率和后向概率进行计算，推导如下：
$${\xi }_t(i,j)=\frac{P\left(i_t=q_i,i_{t+1}=q_j,O\mid \lambda \right)}{P(O\mid \lambda )}=\frac{P\left(i_t=q_i,i_{t+1}=q_j,O\mid \lambda \right)}{{\sum }_{i=1}^N{\sum }_{j=1}^{N}P\left(i_t=q_i,i_{t+1}=q_j,O\mid \lambda \right)}$$
又：
$$\begin{array}{rl}P\left(i_t=q_i,i_{t+1}=q_j,O\mid \lambda \right)& =P\left(i_t=q_i,i_{t+1}=q_j,o_1,o_2,\dots ,o_T\mid \lambda \right)\\ & =P\left(o_1,o_2,\dots ,o_t,i_t=q_i\mid \lambda \right)P\left(o_{t+1},i_{t+1}=q_j\mid i_t=q_i,\lambda \right)P\left(o_{t+2},o_{t+3},\dots ,o_T\mid i_{t+1}=q_j,\lambda \right)\\ & ={\alpha }_t(i)a_{ij}{b}_{j{o}_{t+1}}{\beta }_{t+1}(j)\end{array}$$
所以
$${\xi }_t(i,j)=\frac{{\alpha }_t(i)a_{ij}{b}_{j{o}_{t+1}}{\beta }_{t+1}(j)}{{\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_t(i)a_{ij}{b}_{j{o}_{t+1}}{\beta }_{t+1}(j)}$$