机器学习 - 隐马尔科夫模型（3）- 学习算法

在隐马尔科夫模型的学习过程中，根据数据的完整性分为监督学习算法与无监督学习算法。

如果训练数据同时包含了观测序列和对应的状态序列，则可以使用监督学习方法，从数据中直接统计出来加以计算。

如果数据只包含观测序列，而没有状态序列，就需要使用无监督学习算法的 Baum-Welch 算法。

• 监督学习算法

  假设已给训练数据包含 S 个长度相同的观测序列和对应的状态序列 { ( O 1 , I 1 ) , ( O 2 , I 2 ) , . . . , ( O S , I S ) } \{(O_1,I_1),(O_2,I_2),...,(O_S,I_S)\} {(O1​,I1​),(O2​,I2​),...,(OS​,IS​)}，那么就可以使用极大似然估计法来估计 HMM 的参数。

  1. 初始状态概率向量 Π 的估计

     统计所有样本中初始状态为 $q_i$ 的频率，并赋予对应的 ${\pi }_i$。

  2. 状态转移概率的估计

     设样本中时刻 t 处于状态 i，在时刻 t+1 转移到状态 j 的频数为 A_ij，那么状态转移概率 a_ij 的估计值为：

     $a_{ij}=\frac{A_{ij}}{{\sum }_{j=1}^N{A}_{ij}}，i=1,2,...,N；j=1,2,...,N$

  3. 观测概率的估计

     设样本中状态为 $j$ 且观测值为 $k$ 的频数是 B_jk，那么观测概率 b_j(k) 的估计值为：

     $b_j(k)=\frac{B_{jk}}{{\sum }_{j=1}^M}{B}_{jk}，k=1,2,...,M；j=1,2,...,N$

• 无监督 Baum-Welch 算法

  监督学习需要使用训练数据，而人工标注训练数据非常的耗时耗力，成本很高，所以可以使用无监督学习。

  HMM 算法中的无监督学习算法经典的是 Baum-Welch 算法，它的核心是 EM 算法，即对含有隐变量的概率模型进行极大似然估计。

  • Baum-Welch 算法推导

    1. E 步：

       对观测序列 $O=(o_1,o_2,...,o_T)$，状态序列 $S=(s_1,s_2,...,s_T)$，那么数据的对数似然函数为 $\log P(O,S|\lambda )$

       且 $P(O,S|{\lambda }^{new})={\pi }_{s_1}{b}_{s_1}(o_1)a_{s_1{s}_2}{b}_{s_2}(o_2)...a_{s_{T-1}{s}_T}{b}_{s_T}(o_T)$

       Q 函数为：$\begin{array}{rl}Q({\lambda }^{new},{\lambda }^{old})=& \sum _S\log P(O,S|{\lambda }^{new})P(S|O,{\lambda }^{old})\\ =P(S|O,{\lambda }^{old})⟮& \sum _S\log {\pi }_{s_1}+\sum _S\sum _{t=1}^{T-1}\log a_{s_t{s}_{t+1}}+\sum _S\sum _{t=1}^T\log b_{s_t}(o_t)⟯\end{array}$

    2. M 步：

       极大化 Q 函数 $Q({\lambda }^{new},{\lambda }^{old})$ 求模型参数 $A，B，\Pi$

       因为要极大化的参数分别独立存在于三项中，所以可以对各项分别极大化。

       ---

       1）对于第一项

       ${\sum }_S\log {\pi }_{s_1}P(S|O,{\lambda }^{old})={\sum }_{s=1}^N\log {\pi }_{s_1}P(s_1=s|O,{\lambda }^{old})$

       注意到 ${\pi }_s$ 满足约束条件 ${\sum }_{s=1}^N\log {\pi }_{s_1}=1$，利用拉格朗日乘子法，写出拉格朗日函数：

       ${\sum }_{s=1}^N\log {\pi }_{s_1}P(s_1=s|O,{\lambda }^{old})+\gamma ⟮{\sum }_{s=1}^N\log {\pi }_{s_1}-1⟯$

       对其求偏导并令其等于 0，得：$P(s_1=s|O,{\lambda }^{old})+\gamma {\pi }_s=0$

       对 s 求和得到 $\gamma =-P(O|{\lambda }^{old})$，将此结果代入原式可得：

       ${\pi }_s=\frac{P(s_1=s|{\lambda }^{old})}{P(O|{\lambda }^{old})}$

       ---

       2）对于第二项用同样方法可得

       $a_{sj}=\frac{{\sum }_{t=1}^{T-1}P(O,|s_t=s，s_{t+1}=j，{\lambda }^{old})}{{\sum }_{t=1}^{T-1}P(O,s_t=s|{\lambda }^{old})}$

       ---

       3）对于第三项，需要注意的是，只有在 0_t = v_k 时 b_j(o_t) 对 b_j(k) 的偏导数才不为 0，以 $I(o_t=v_k)$ 表示。接下来使用同样方法可得

       $b_j(k)=\frac{{\sum }_{t=1}^{T}P(O|s_t=j,{\lambda }^{old})I(o_t=v_k)}{{\sum }_{t=1}^{T}P(O|s_t=j,{\lambda }^{old})}$

  以上则将 λ 的各参数求出。