【西瓜书笔记】12. 隐马尔科夫模型（2）

监督学习方法

假设已给出训练数据包含S个长度相同的观测序列和对应的状态序列 { ( O 1 , I 1 ) , ( O 2 , I 2 ) , … , ( O S , I S ) } \left\{\left(O_{1}, I_{1}\right),\left(O_{2}, I_{2}\right), \ldots,\left(O_{S}, I_{S}\right)\right\} {(O1​,I1​),(O2​,I2​),…,(OS​,IS​)}那么可以利用极大似然估计法来估计隐马尔科夫模型，具体方法如下

转移概率$a_{ij}$的估计：
$$a_{ij}=\frac{A_{ij}}{{\sum }_{j=1}^N{A}_{ij}}$$
其中，$A_{ij}$为样本中时刻t处于状态$q_i$而到时刻t+1转移到状态$q_j$的频数。

观测概率$b_{ij}$的估计：
$$b_{jk}=\frac{B_{jk}}{{\sum }_{k=1}^M{B}_{jk}}$$
其中，$B_{jk}$为样本中状态数为$q_j$，其对应观测为$v_k$的频数。初始状态概率${\pi }_i$的估计为S个样本中初始状态为$q_i$的频率。

举个例子。假设状态集合是 { 1 , 2 , 3 } \{1,2,3\} {1,2,3},观测集合是 { a , b } \{a, b\} {a,b}，样本有两个：$O_1=(a,a,b),I_1=(2,1,1),O_2=(a,b,a),I_2=(1,3,2)$。 那么对于转移概率有：
$$\begin{gathered} a_{11}=\frac{A_{11}}{A_{11}+A_{12}+A_{13}}=\frac{1}{1+0+1}=\frac{1}{2} \\ {a}_{12}=0 \\ {a}_{13}=\frac{1}{2} \end{gathered}$$
对于观测概率有
$$\begin{gathered} b_{1a}=\frac{B_{1a}}{B_{1a}+B_{1b}}=\frac{2}{1+2}=\frac{2}{3} \\ {b}_{1b}=\frac{B_{1b}}{B_{1a}+B_{1b}}=\frac{1}{1+2}=\frac{1}{3} \end{gathered}$$
初始概率有${\pi }_1=\frac{1}{2},{\pi }_2=\frac{1}{2},{\pi }_3=0$。

Baum-Welch算法

这个算法就是EM算法在隐马尔科夫模型的应用。如果只有观测序列数据$O=\left(o_1,o_2,\dots ,o_T\right)$，而没有状态序列数据$I=\left(i_1,i_2,\dots ,i_T\right)$，那么隐马尔科夫模型就是一个含有隐变量的概率模型（$P(Y\mid \theta )={\sum }_{Z}P(Y\mid Z,\theta )P(Z\mid \theta ),Y\to O,Z\to I$）：
$$P(O\mid \lambda )=\sum _{I}P(O\mid I,\lambda )P(I\mid \lambda )$$
如果要对它进行参数估计，则可以采用EM算法来实现。我们先要确定完全数据的对数似然函数。此时观测数据为$O=\left(o_1,o_2,\dots ,o_T\right)$，未观测数据为$I=\left(i_1,i_2,\dots ,i_T\right)$，则完全数据为$(O,I)=\left(o_1,o_2,\dots ,o_T,i_1,i_2,\dots ,i_T\right)$，完全数据的对数似然函数为：
$$\ln P(O,I\mid \lambda )$$
其中，$P(O,I\mid \lambda )={\pi }_{i_1}{b}_{i_1{o}_1}{a}_{i_1{i}_2}{b}_{i_2{o}_2}\cdots a_{i_{T-1}{i}_T}{b}_{i_T{o}_T}$，所以可以进一步推得
$$\begin{array}{rl}\ln P(O,I\mid \lambda )& =\ln \left({\pi }_{i_1}{b}_{i_1{o}_1}{a}_{i_1{i}_2}{b}_{i_2{o}_2}\cdots a_{i_{T-1}{i}_T}{b}_{i_T{o}_T}\right)\\ & =\ln {\pi }_{i_1}+\sum _{t=1}^{T-1}\ln a_{i_t{i}_{t+1}}+\sum _{t=1}^T\ln b_{i_t{o}_t}\end{array}$$

EM算法E步：

求Q函数$Q(\lambda ,\bar{\lambda })$
$$Q(\lambda ,\bar{\lambda })=\sum _{I}P(I\mid O,\bar{\lambda })\ln P(O,I\mid \lambda )$$
其中，$\bar{\lambda }$是隐马尔科夫模型参数的当前估计值，$\lambda$是要极大化的隐马尔科夫模型参数。为了便于后续计算，Q函数还可以作如下恒等变形：
$$\begin{array}{rl}Q(\lambda ,\bar{\lambda })& =\sum _{I}P(I\mid O,\bar{\lambda })\ln P(O,I\mid \lambda )\\ & =\sum _I\frac{P(O,I\mid \bar{\lambda })}{P(O\mid \bar{\lambda })}\ln P(O,I\mid \lambda )\end{array}$$
其中利用了$P(A\mid B)=\frac{P(A,B)}{P(B)}$。由于接下来仅极大化$\lambda$， $P(O\mid \bar{\lambda })$可以看做常数项进行略去，所以Q函数可以进一化简为：
$$\begin{array}{rl}Q(\lambda ,\bar{\lambda })& =\sum _{I}P(O,I\mid \bar{\lambda })\ln P(O,I\mid \lambda )\\ & =\sum _{I}P(O,I\mid \bar{\lambda })\left(\ln {\pi }_{i_1}+\sum _{t=1}^{T-1}\ln a_{i_t{i}_{t+1}}+\sum _{t=1}^T\ln b_{i_t{O}_t}\right)\\ & =\sum _{I}P(O,I\mid \bar{\lambda })\ln {\pi }_{i_1}+\sum _{I}P(O,I\mid \bar{\lambda })\left(\sum _{t=1}^{T-1}\ln a_{i_t{i}_{t+1}}\right)+\sum _{I}P(O,I\mid \bar{\lambda })\left(\sum _{t=1}^T\ln b_{i_t{o}_t}\right)\end{array}$$

EM算法M步：

极大化Q函数。由于要极大化的参数在上式中单独地出现在3个项中，所以只需要对各项分别极大化。

求${\pi }_i$: Q函数中的第1项可以写成：
$$\begin{array}{rl}\sum _{I}P(O,I\mid \bar{\lambda })\ln {\pi }_{i_1}& =\sum _{i_1,i_2,\dots ,i_T}P\left(O,i_1,i_2,\dots ,i_T\mid \bar{\lambda }\right)\ln {\pi }_{i_1}\\ & =\sum _{i=1}^N\left(\sum _{i_2,i_3,\dots ,i_T}P\left(O,i_1=q_i,i_2,i_3,\dots ,i_T\mid \bar{\lambda }\right)\ln {\pi }_i\right)\\ & =\sum _{i=1}^N\left\{\ln {\pi }_i\cdot \left(\sum _{i_2,i_3,\dots ,i_T}P\left(O,i_1=q_i,i_2,i_3,\dots ,i_T\mid \bar{\lambda }\right)\right)\right\}\\ & =\sum _{i=1}^N\ln {\pi }_{i}P\left(O,i_1=q_i\mid \bar{\lambda }\right)\end{array}$$
由于$\pi$满足约束${\sum }_{i=1}^N{\pi }_i=1$，利用拉格朗日乘子法，写出拉格朗日函数：
$$\sum _{i=1}^N\ln {\pi }_{i}P\left(O,i_1=q_i\mid \bar{\lambda }\right)+\eta \left(\sum _{i=1}^N{\pi }_i-1\right)$$

对拉格朗日函数关于$\pi$求偏导并令结果为0:
$$\begin{array}{c}\frac{\partial }{\partial {\pi }_i}\left[\sum _{i=1}^N\ln {\pi }_{i}P\left(O,i_1=q_i\mid \bar{\lambda }\right)+\eta \left(\sum _{i=1}^N{\pi }_i-1\right)\right]=0\\ \frac{1}{{\pi }_i}\cdot P\left(O,i_1=q_i\mid \bar{\lambda }\right)+\eta =0\\ P\left(O,i_1=q_i\mid \bar{\lambda }\right)+\eta {\pi }_i=0\end{array}$$
利用${\sum }_{i=1}^N{\pi }_i=1$，对上式两边关于i求和可得：
$$\begin{array}{c}\sum _{i=1}^N\left[P\left(O,i_1=q_i\mid \bar{\lambda }\right)+\eta {\pi }_i\right]=0\\ \sum _{i=1}^{N}P\left(O,i_1=q_i\mid \bar{\lambda }\right)+\sum _{i=1}^N\eta {\pi }_i=0\\ P(O\mid \bar{\lambda })+\eta \cdot 1=0\\ \eta =-P(O\mid \bar{\lambda })\end{array}$$
将其代回$P\left(O,i_1=q_i\mid \bar{\lambda }\right)+\eta {\pi }_i=0$可得：
$$\begin{array}{c}P\left(O,i_1=q_i\mid \bar{\lambda }\right)-P(O\mid \bar{\lambda })\cdot {\pi }_i=0\\ {\pi }_i=\frac{P\left(O,i_1=q_i\mid \bar{\lambda }\right)}{P(O\mid \bar{\lambda })}=P\left(i_1=q_i\mid O,\bar{\lambda }\right)={\gamma }_1(i)=\frac{{\alpha }_1(i){\beta }_1(i)}{{\sum }_{j=1}^N{\alpha }_1(j){\beta }_1(j)}\end{array}$$
其中${\gamma }_t(i)=\frac{{\alpha }_t(i){\beta }_t(i)}{{\sum }_{j=1}^N{\alpha }_t(j){\beta }_t(j)}$表示给定模型参数$\lambda$和观测$O$，在时刻t处于状态$q_i$的概率。

求$a_{ij}$：Q函数中的第2项可以写成：
$$\begin{array}{rl}\sum _{I}P(O,I\mid \bar{\lambda })\left(\sum _{t=1}^{T-1}\ln a_{i_t+i_{t+1}}\right)& =\sum _{t=1}^{T-1}\left(\sum _{i_1,i_2,\dots ,i_T}P\left(O,i_1,i_2,\dots ,i_T\mid \bar{\lambda }\right)\ln a_{i_t{i}_{t+1}}\right)\\ & =\sum _{t=1}^{T-1}\left\{\sum _{i=1}^N\sum _{j=1}^N\left(\sum _{i_1,i_2,\dots ,i_{t-1},i_{t+2}\dots ,i_T}P\left(O,i_1,i_2,\dots ,i_t=q_i,i_{t+1}=q_j,\dots ,i_T\mid \bar{\lambda }\right)\ln a_{ij}\right)\right\}\\ & =\sum _{t=1}^{T-1}\left\{\sum _{i=1}^N\sum _{j=1}^N\left[\ln a_{ij}\cdot \left(\sum _{i_1,i_2,\dots ,i_{t-1},i_{t+2}\dots ,i_T}P\left(O,i_1,i_2,\dots ,i_t=q_i,i_{t+1}=q_j,\dots ,i_T\mid \bar{\lambda }\right)\right)\right]\right\}\\ & =\sum _{t=1}^{T-1}\sum _{i=1}^N\sum _{j=1}^N\ln a_{ij}P\left(O,i_t=q_i,i_{t+1}=q_j\mid \bar{\lambda }\right)\end{array}$$
由于$a_{ij}$需要满足约束${\sum }_{j=1}^N{a}_{ij}=1$，同样利用拉格朗日乘子法，写出拉格朗日函数：
$$\sum _{t=1}^{T-1}\sum _{i=1}^N\sum _{j=1}^N\ln a_{ij}P\left(O,i_t=q_i,i_{t+1}=q_j\mid \bar{\lambda }\right)+\eta \left(\sum _{j=1}^N{a}_{ij}-1\right)$$
对拉格朗日函数关于$a_{ij}$求偏导并令结果为0:
$$\begin{array}{c}\frac{\partial }{\partial a_{ij}}\left[\sum _{t=1}^{T-1}\sum _{i=1}^N\sum _{j=1}^N\ln a_{ij}P\left(O,i_t=q_i,i_{t+1}=q_j\mid \bar{\lambda }\right)+\eta \left(\sum _{j=1}^N{a}_{ij}-1\right)\right]=0\\ \frac{1}{a_{ij}}\cdot \sum _{t=1}^{T-1}P\left(O,i_t=q_i,i_{t+1}=q_j\mid \bar{\lambda }\right)+\eta =0\\ \sum _{t=1}^{T-1}P\left(O,i_t=q_i,i_{t+1}=q_j\mid \bar{\lambda }\right)+\eta a_{ij}=0\end{array}$$
利用${\sum }_{j=1}^N{a}_{ij}=1$对上式两边关于j求和可得：
$$\begin{array}{c}\sum _{j=1}^N\sum _{t=1}^{T-1}P\left(O,i_t=q_i,i_{t+1}=q_j\mid \bar{\lambda }\right)+\sum _{j=1}^N\eta a_{ij}=0\\ \sum _{t=1}^{T-1}P\left(O,i_t=q_i\mid \bar{\lambda }\right)+\eta \cdot 1=0\\ \eta =-\sum _{t=1}^{T-1}P\left(O,i_t=q_i\mid \bar{\lambda }\right)\end{array}$$
将其代回${\sum }_{t=1}^{T-1}P\left(O,i_t=q_i,i_{t+1}=q_j\mid \bar{\lambda }\right)+\eta a_{ij}=0$可得：
$$\begin{array}{c}\sum _{t=1}^{T-1}P\left(O,i_t=q_i,i_{t+1}=q_j\mid \bar{\lambda }\right)-\sum _{t=1}^{T-1}P\left(O,i_t=q_i\mid \bar{\lambda }\right)\cdot a_{ij}=0\\ a_{ij}=\frac{{\sum }_{t=1}^{T-1}P\left(O,i_t=q_i,i_{t+1}=q_j\mid \bar{\lambda }\right)}{{\sum }_{t=1}^{T-1}P\left(O,i_t=q_i\mid \bar{\lambda }\right)}\end{array}$$
分子分母同时除以$P(O\mid \bar{\lambda })$
$$a_{ij}=\frac{\frac{{\sum }_{t=1}^{T-1}P\left(O,i_t=q_i,i_{t+1}=q_j\mid \bar{\lambda }\right)}{P(O\mid \bar{\lambda })}}{\frac{{\sum }_{t=1}^{T-1}P\left(O,i_t=q_i\mid \bar{\lambda }\right)}{P(O\mid \bar{\lambda })}}=\frac{{\sum }_{t=1}^{T-1}P\left(i_t=q_i,i_{t+1}=q_j\mid O,\bar{\lambda }\right)}{{\sum }_{t=1}^{T-1}P\left(i_t=q_i\mid O,\bar{\lambda }\right)}=\frac{{\sum }_{t=1}^{T-1}{\xi }_t(i,j)}{{\sum }_{l=1}^{T-1}{\gamma }_t(i)}$$
其中${\xi }_t(i,j)=\frac{{\alpha }_t(i)a_{ij}{b}_{j{o}_{t+1}}{\beta }_{t+1}(j)}{{\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_t(i)a_{ij}{b}_{j{o}_{t+1}}{\beta }_{t+1}(j)}$表示给定$\lambda$和$O$，在时刻t处于状态$q_i$且在$t+1$处于$q_j$的概率。${\gamma }_t(i)=\frac{{\alpha }_t(i){\beta }_t(i)}{{\sum }_{j=1}^N{\alpha }_t(j){\beta }_t(j)}$表示给定模型参数$\lambda$和观测$O$,在时刻t处于状态$q_i$的概率。

求$b_{jk}$：Q函数中的第3项可以写成：
$$\begin{array}{rl}\sum _{I}P(O,I\mid \bar{\lambda })\left(\sum _{t=1}^T\ln b_{i_t{o}_t}\right)& =\sum _{t=1}^T\left(\sum _{i_1,i_2\dots ,i_T}P\left(O,i_1,i_2,\dots ,i_T\mid \bar{\lambda }\right)\ln b_{i_t{o}_t}\right)\\ & =\sum _{t=1}^T\left\{\sum _{j=1}^N\left(\sum _{i_1,i_2,\dots ,i_{t-1},i_{t+1},\dots ,i_T}P\left(O,i_1,i_2,\dots ,i_t=q_j,\dots ,i_T\mid \bar{\lambda }\right)\ln b_{j{o}_t}\right)\right\}\\ & =\sum _{t=1}^T\left\{\sum _{j=1}^N\left[\ln b_{j{o}_t}\cdot \left(\sum _{i_1,i_2,\dots ,i_{t-1},i_{t+1},\dots ,i_T}P\left(O,i_1,i_2,\dots ,i_t=q_j,\dots ,i_T\mid \bar{\lambda }\right)\right)\right]\right\}\\ & =\sum _{t=1}^T\sum _{j=1}^N\ln b_{j{o}_t}P\left(O,i_t=q_j\mid \bar{\lambda }\right)\end{array}$$
由于$b_{jk}$需要满足约束条件${\sum }_{k=1}^M{b}_{jk}=1$，同样利用拉格朗日乘子法，写出拉格朗日函数
$$\sum _{t=1}^T\sum _{j=1}^N\ln b_{j{o}_t}P\left(O,i_t=q_j\mid \bar{\lambda }\right)+\eta \left(\sum _{k=1}^M{b}_{jk}-1\right)$$
对拉格朗日函数关于$b_{jk}$求偏导并令结果为0：
$$\begin{array}{rl}& \frac{\partial }{\partial b_{jk}}\left[\sum _{t=1}^T\sum _{j=1}^N\ln b_{j{o}_t}P\left(O,i_t=q_j\mid \bar{\lambda }\right)+\eta \left(\sum _{k=1}^M{b}_{jk}-1\right)\right]=0\\ & \frac{1}{b_{jk}}\cdot \sum _{t=1}^{T}P\left(O,i_t=q_j\mid \bar{\lambda }\right)\mathbb{I}\left(o_t=v_k\right)+\eta =0\\ & \sum _{t=1}^{T}P\left(O,i_t=q_j\mid \bar{\lambda }\right)\mathbb{I}\left(o_t=v_k\right)+\eta b_{jk}=0\end{array}$$
其中，$\mathbb{I}\left(o_t=v_k\right)$为指示函数。首先求导不受${\sum }_{j=1}^N$约束，所以${\sum }_{j=1}^N$可以略去。又因为这里有$\ln b_{j{o}_t}$, $o_t$是需要从$o_1$遍历到$o_T$的，也就是${\sum }_{t=1}^T$。如果对于某个$t$, $o_t=v_k$，那么$\ln b_{j{o}_t}$可以求导，如果$o_t\ne v_k$，求导就等于0。也就是说从$o_1$遍历到$o_T$，观测序列中可能有不止一个$o_t=v_k$。但是我们不知道具体哪几个$o_t=v_k$，所以我们就引入了指示函数。

利用${\sum }_{k=1}^M{b}_{jk}=1$，对上式两边关于k求和可得：
$$\begin{array}{c}\sum _{k=1}^M\sum _{t=1}^{T}P\left(O,i_t=q_j\mid \bar{\lambda }\right)\mathbb{I}\left(o_t=v_k\right)+\sum _{k=1}^M\eta b_{jk}=0\\ \sum _{t=1}^{T}P\left(O,i_t=q_j\mid \bar{\lambda }\right)+\eta \cdot 1=0\\ \eta =-\sum _{t=1}^{T}P\left(O,i_t=q_j\mid \bar{\lambda }\right)\end{array}$$
这里从$k=1$到$k=M$遍历求和，除了$o_t=v_k$这一项使得指示函数为1，其他项全部为0。所以我们可以去掉指示函数，去掉k保留t，我们不需要知道具体哪个k。
将其代回${\sum }_{t=1}^{T}P\left(O,i_t=q_j\mid \bar{\lambda }\right)\mathbb{I}\left(o_t=v_k\right)+\eta b_{jk}=0$，可得：
$$\begin{array}{c}\sum _{t=1}^{T}P\left(O,i_t=q_j\mid \bar{\lambda }\right)\mathbb{I}\left(o_t=v_k\right)-\sum _{t=1}^{T}P\left(O,i_t=q_j\mid \bar{\lambda }\right)\cdot b_{jk}=0\\ b_{jk}=\frac{{\sum }_{t=1}^{T}P\left(O,i_t=q_j\mid \bar{\lambda }\right)\mathbb{I}\left(o_t=v_k\right)}{{\sum }_{t=1}^{T}P\left(O,i_t=q_j\mid \bar{\lambda }\right)}\end{array}$$
分子分母同时除以$P(O\mid \bar{\lambda })$
$$b_{jk}=\frac{\frac{{\sum }_{t=1}^{T}P\left(O,i_t=q_j\mid \bar{\lambda }\right)\mathbb{I}\left(o_t=v_k\right)}{P(O\mid \lambda )}}{\frac{{\sum }_{t=1}^{T}P\left(O,i_t=q_j\mid \bar{\lambda }\right)}{P(O\mid \bar{\lambda })}}=\frac{{\sum }_{t=1}^{T}P\left(i_t=q_j\mid O,\bar{\lambda }\right)\mathbb{I}\left(o_t=v_k\right)}{{\sum }_{t=1}^{T}P\left(i_t=q_j\mid O,\bar{\lambda }\right)}=\frac{{\sum }_{t=1,o_t=v_k}^T{\gamma }_t(j)}{{\sum }_{t=1}^T{\gamma }_t(j)}$$
其中，${\gamma }_t(i)=\frac{{\alpha }_t(i){\beta }_t(i)}{{\sum }_{j=1}^N{\alpha }_t(j){\beta }_t(j)}$表示给定模型参数$\lambda$和观测$O$,在时刻t处于状态$q_i$的概率。