【机器学习】隐马尔科夫模型（下）——学习算法和预测算法

紧接上篇博客，上文已经介绍了前向-后向算法。前向-后向算法是通过递推地计算前向-后向概率来高效地进行隐马尔可夫模型的概率计算。该算法的时间复杂度是$O(N^2T)$。

五、学习算法
在很多实际的情况下，HMM 不能被直接地判断，这就变成了一个学习问题。因为对于给定的可观察状态序列$O$来说，没有任何一种方法可以精确地找到一组最优的 HMM 参数$\lambda$使$P(O | \lambda)$ 最大，于是人们寻求使其局部最优的解决办法，而Baum-Welch算法就成了HMM学习问题的一个近似的解决方法。
Baum-Welch算法首先对于HMM的参数进行一个初始的估计，但这个很可能是一个错误的猜测，然后通过对于给定的数据评估这些参数的的有效性（比如交叉验证）并减少它们所引起的错误来更新HMM参数，使得和给定的训练数据的误差变小。
实际上，Baum-Welch算法是EM算法的一个特例。EM算法是解决无监督学习问题的一把“利器”。下面我们就使用这把“利器”解决HMM的参数学习问题。

1.首先我们需要定义两个辅助变量，这两个变量可以用前文介绍过的前向概率和后向概率进行定义。
(1)给定模型$\lambda$和观测序列$O$，在时刻$t$处于$q_i$的概率，记为

$$\gamma_t(i)=P(i_t=q_i | O, \lambda)$$
可以通过前向-后向概率计算，事实上 $$\gamma_t(i)=P(i_t=q_i | O, \lambda)=\frac{P(i_t=q_i, O | \lambda)}{P(O | \lambda)}$$
根据前向概率和后向概率的定义可知： $\alpha_t(i)\beta_t(i)=P(i_t=q_i,O | \lambda)$，于是得到： $$\gamma_t(i)=\frac{\alpha_t(i)\beta_t(i)}{P(O | \lambda)}=\frac{\alpha_t(i)\beta_t(i)}{\sum_{j=1}^N\alpha_t(j)\beta_t(j)}$$
(2)给定模型 $\lambda$和观测序列 $O$，在时刻 $t$处于状态 $q_i$且在时刻 $t+1$处于状态 $q_j$的概率，记为 $$\xi_t(i, j)=P(i_t=q_i, i_{t+1}=q_j | O, \lambda)$$
通过前向-后向概率计算得：

ξt(i,j)=αt(i)a