隐马尔科夫模型（三）学习算法

隐马尔科夫模型的学习，根据训练数据时包括观测序列和对应的状态序列还是只有观测序列，可以分别有监督学习和非监督学习实现。

监督学习方法

假设已给的训练数据中，包含S个长度相同的观测序列和对应的状态序列
{ ( O 1 , I 1 ) , ( O 2 , I 2 ) … … ( O S , I S ) } \{(O_1,I_1),(O_2,I_2)……(O_S,I_S)\} {(O1​,I1​),(O2​,I2​)……(OS​,IS​)},那么可以利用极大似然估计法估计隐马尔科夫模型的参数，具体如下：
1）转移概率$a_{ij}$的估计
设样本中时刻t处于状态i时刻t+1转移到状态j的频数为A_{ij}，那么状态转移概率$a_{ij}$的估计为：
$a_{ij}=\frac{A_{ij}}{\sum _{j=1}^N{A}_{ij}}$

2)观测概率$b_j(k)$的估计
设样本中状态为j并观测为k的频数为$B_{jk}$,那么状态为j观测为k的概率$b_j(k)$的估计是：
$b_j(k)=\frac{B_{jk}}{\sum _{k=1}^M{B}_{jk}}$

3)初始状态概率${\pi }_i$的估计为S个样本中初始状态为$q_i$的频率。

由于监督学习需要使用训练数据，而人工标注训练数据的代价很高，有时就会使用非监督学习方法。

鲍尔-韦尔奇算法

假设给定训练数据只包含S个长度为T的观测序列 { O 1 , O 2 … O S } \{O_1,O_2…O_S\} {O1​,O2​…OS​}，而没有对应的状态序列，目标是学习隐马尔科夫模型$\lambda =(A,B,\pi )$,我们将观测序列数据看做观测数据O,状态序列看做不可观测的隐数据$I$,那么隐马尔科夫模型事实上是一个含有隐变量的概率模型。
$P(O|\lambda )=\sum _{I}P(O|I,\lambda )P(I|\lambda )$
他的参数可又EM算法实现。
1）确定完全数据的对数似然函数
所有的观测数据写成$O=(o_1,o_2,\dots \dots o_T)$,所有隐数据写成$I=(i_1,i_2\dots \dots i_T)$完全数据时$(O,I)=(o_1,o_2,\dots \dots o_T,i_1,i_2\dots \dots i_T)$
完全数据的对数似然函数是$logP(O,I|\lambda )$

E步：求$Q$函数
（完全数据的对数似然函数log(Y,Z|θ)关于在给定观测数据Y和当前参数${\theta }^{(i)}$下对未观测数据Z的条件概率分布$P(Z|Y,{\theta }^{(i)})$的期望。）

$Q(\lambda ,{\lambda }^{\prime })=\sum _{I}logP(O,I|\lambda )P(I|O,{\lambda }^{\prime })$
(${\lambda }^{\prime }$是隐马尔科夫模型参数的当前估计值，λ是要极大化的隐马尔科夫模型参数)
M步：极大化Q函数

${\lambda }^{\ast }=argmax\sum _{I}logP(O,I|\lambda )P(I|O,{\lambda }^{\prime })$

联合分布的概率计算如下：
$P(O,I|\lambda )={\pi }_{i_1}{b}_{i_1}(o_1)a_{i_1{i}_2}{b}_{i_2}(o_2)\dots a_{i_{T-1}{i}_T}{b}_{i_T}(o_T)$

针对E步：
$Q(\lambda ,{\lambda }^{\prime })=\sum _{I}logP(O,I|\lambda )P(I|O,{\lambda }^{\prime })$

其中，由于$P(I|O,{\lambda }^{\prime })=\frac{P(O,I|{\lambda }^{\prime })}{P(O|{\lambda }^{\prime })}$，而$P(O|{\lambda }^{\prime })$是常数，因此我们要极大化的式子等价于
${\lambda }^{\ast }=argmax\sum _{I}logP(O,I|\lambda )P(I,O|{\lambda }^{\prime })$

将上面的$P(O,I|\lambda )$的表达式带入我们需要极大化的式子，可得
于是：

${\lambda }^{\ast }=argmax\sum _{I}log{\pi }_{i_1}P(I,O|{\lambda }^{\prime })+\sum _I(\sum _{t=1}^{T-1}log{a}_{i_t{i}_{t+1}})P(I,O|{\lambda }^{\prime })+\sum _I(\sum _{t=1}^{T}log{b}_{i_t}(o_t))P(I,O|{\lambda }^{\prime })$ (目标函数)

要求隐藏模型参数$\lambda =(A,B,\pi )$，我们只需要对上式分别对$A,B,\pi$求导即可得到我们更新的模型参数${\lambda }^{\prime }$

观测上式发现要极大化的参数分别单独的出现在三个项中，所以只需对各项分别最大化。

${\pi }^{\ast }=argmax\sum _{I}log{\pi }_{i}P(I,O|{\lambda }^{\prime })=argmax\sum _{i=1}^{N}log{\pi }_{i}P(O,i_1=i|{\lambda }^{\prime })$
由于${\pi }_i$还满足$\sum _{i=1}^N{\pi }_i=1$
因此根据拉格朗日乘子法，我们可以得到${\pi }_i$要极大化的拉格朗日函数为：
$\sum _{i=1}^{N}log{\pi }_{i}P(O,i_1=i|{\lambda }^{\prime })+\gamma (\sum _{i=1}^N{\pi }_i-1)$
对其求偏导并令结果为0得到：

$P(O,i_1=i|{\lambda }^{\prime })+\gamma {\pi }_i=0$(化简后的)

令i分别等于从1到N,从上式可以得到N个式子，对这N个式子求和可得：

$P(O|{\lambda }^{\prime })+\gamma =0$得出 $\gamma =-P(O|{\lambda }^{\prime })$

则${\pi }_i=\frac{P(O,i_1=i|{\lambda }^{\prime })}{P(O|{\lambda }^{\prime })}$

由贝叶斯公式：$\frac{P(O,i_1=i|{\lambda }^{\prime })}{P(O|{\lambda }^{\prime })}=P(i_1=i|O,{\lambda }^{\prime })={\gamma }_1(i)$

目标函数的第二项可以写成：
$\sum _I(\sum _{t=1}^{T-1}log{a}_{i_t{i}_{t+1}})P(I,O|{\lambda }^{\prime })=\sum _{i=1}^N\sum _{j=1}^N\sum _{t=1}^{T-1}log{a}_{ij}P(O,i_t=i,i_{t+1}=j|{\lambda }^{\prime })$

同时具有约束条件：$\sum _{j=1}^N{a}_{ij}=1$,则拉格朗日函数为：
$\sum _{i=1}^N\sum _{j=1}^N\sum _{t=1}^{T-1}log{a}_{ij}P(O,i_t=i,i_{t+1}=j|{\lambda }^{\prime })+\gamma (\sum _{j=1}^N{a}_{ij}-1)$

对$a_{ij}求导可得$
$\sum _{t=1}^{T-1}P(O,i_t=i,i_{t+1}=j|{\lambda }^{\prime })+\gamma a_{ij}=0$
令j 等于从1到N，可以得到N个式子，相加可得
$\sum _{t=1}^{T-1}P(O,i_t=i|{\lambda }^{\prime })+\gamma =0$

则：$\gamma =-\sum _{t=1}^{T-1}P(O,i_t=i|{\lambda }^{\prime })$

$a_{ij}=\frac{\sum _{t=1}^{T-1}P(O,i_t=i,i_{t+1}=j|{\lambda }^{\prime })}{\sum _{t=1}^{T-1}P(O,i_t=i|{\lambda }^{\prime })}$

$=\frac{\sum _{t=1}^{T-1}{\xi }_t(i,j)}{\sum _{t=1}^{T-1}{\gamma }_t(i)}$

3)针对第三项
$\sum _I(\sum _{t=1}^{T}log{b}_{i_t}(o_t))P(I,O|{\lambda }^{\prime })=\sum _{j=1}^N\sum _{t=1}^{T}log{b}_j(o_t))P(O,i_t=j|{\lambda }^{\prime })$

同样用拉格朗日乘子法，约束条件为$\sum _{k=1}^M{b}_j(k)=1$

$\sum _{j=1}^N\sum _{t=1}^{T}log{b}_j(o_t))P(O,i_t=j|{\lambda }^{\prime })+\gamma (\sum _{k=1}^M{b}_j(k)-1)$

对$b_j(o_t)$求导，注意只有当$o_t=v_k时，b_j(o_t)对b_j(k)$的偏导数才不为0，以$I(o_t=v_k)$表示：
$\sum _{t=1}^{T}P(O,i_t=j|{\lambda }^{\prime })I(o_t=v_k)+\gamma b_j(k)=0$
令 k 取1到M个值，然后相加
$\sum _{t=1}^{T}P(O,i_t=j|{\lambda }^{\prime })+\gamma =0$
得到 $\gamma =-\sum _{t=1}^{T}P(O,i_t=j|{\lambda }^{\prime })$

则：$b_j(k)=\frac{\sum _{t=1}^{T}P(O,i_t=j|{\lambda }^{\prime })I(o_t=v_k)}{\sum _{t=1}^{T}P(O,i_t=j|{\lambda }^{\prime })}$

分子分母同时除以$P(O|{\lambda }^{\prime })$

$b_j(k)=\frac{\sum _{t=1}^{T}P(i_t=j|O,{\lambda }^{\prime })I(o_t=v_k)}{\sum _{t=1}^{T}P(i_t=j,O|{\lambda }^{\prime })}$

$b_j(k)=\frac{\sum _{t=1}^T{\gamma }_t(j)I(o_t=v_k)}{\sum _{t=1}^T{\gamma }_t(j)}$

Baum-Welch算法流程：
输入：观察数据$O=(o_1,o_2,\dots \dots o_T)$
输出：隐马尔科夫模型参数

1）初始化
对n=0,选取$a_{ij}^{(0)},b_j(k{)}^{(0)},{\pi }_i^{(0)},得到模型参数{\lambda }^{(0)}=(A^{(0)},B^{(0)},{\pi }^{(0)})$

2)递推，对于n=1,2……

$a_{ij}^{(n+1)}=\frac{\sum _{t=1}^{T-1}{\xi }_t(i,j)}{\sum _{t=1}^{T-1}{\gamma }_t(i)}$

$b_j(k{)}^{(n+1)}=\frac{\sum _{t=1}^T{\gamma }_t(j)I(o_t=v_k)}{\sum _{t=1}^T{\gamma }_t(j)}$

${\pi }_i^{(n+1)}={\gamma }_1(i)$

右端各值根据观察数据$O=(o_1,o_2,\dots \dots o_T)$和模型${\lambda }^{(n)}=(A^{(n)},B^{(n)},{\pi }^{(n)})$计算。

3）终止。得到模型参数${\lambda }^{(n+1)}=(A^{(n+1)},B^{(n+1)},{\pi }^{(n+1)})$