机器学习笔记(十八)——HMM的参数估计

一、HMM中的第三个基本问题

    参数估计问题：给定一个观察序列$O=O_1O_2\dots O_T$，如何调节模型$\mu = (A, B, \pi)$的参数，使得$P(O|\mu)$最大化：

$$arg \max_{\mu} P(O_{training}|\mu)$$
模型的参数是指构成 $\mu$的 $\pi_i,a_{ij}, b_j(k)$。本文的前序两节讲的EM算法就是为了解决模型参数的最大化问题。其基本思想是，初始时随机地给模型参数赋值，该赋值遵循模型对参数的限制，例如，从某一状态出发的所有转移概率之和为1.给模型参数赋初值后，得到模型 $\mu_0$, 然后根据 $\mu_0$可以得到模型中隐变量的期望值。例如，从 $\mu_0$得到某一状态到另一状态的期望次数，用期望次数来替代实际次数，这样可以得到模型参数的重新估计值，由此得到新的模型 $\mu_1$。然后重复上述过程，直到参数收敛于最大似然估计值。

二、算法介绍

    给定HMM的参数$\mu$和观察序列$O=O_1O_2\dots O_T$在时间$t$位于状态$s_i$，时间$t+1$位于状态$s_j$的概率：

ξt(i,j)=P(qt=