机器学习笔记(十八)——HMM的参数估计

一、HMM中的第三个基本问题

    参数估计问题：给定一个观察序列$O=O_1O_2\dots O_T$，如何调节模型$\mu = (A, B, \pi)$的参数，使得$P(O|\mu)$最大化：

$$arg \max_{\mu} P(O_{training}|\mu)$$
模型的参数是指构成 $\mu$的 $\pi_i,a_{ij}, b_j(k)$。本文的前序两节讲的EM算法就是为了解决模型参数的最大化问题。其基本思想是，初始时随机地给模型参数赋值，该赋值遵循模型对参数的限制，例如，从某一状态出发的所有转移概率之和为1.给模型参数赋初值后，得到模型 $\mu_0$, 然后根据 $\mu_0$可以得到模型中隐变量的期望值。例如，从 $\mu_0$得到某一状态到另一状态的期望次数，用期望次数来替代实际次数，这样可以得到模型参数的重新估计值，由此得到新的模型 $\mu_1$。然后重复上述过程，直到参数收敛于最大似然估计值。

二、算法介绍

    给定HMM的参数$\mu$和观察序列$O=O_1O_2\dots O_T$在时间$t$位于状态$s_i$，时间$t+1$位于状态$s_j$的概率：

$$\xi_t(i,j) = P(q_t=s_i, q_{t+1} = s_j | O; \mu)(1 \le t \le T, 1 \le i,j \le N)$$
可由下面的公式计算获得：
$$\xi_t(i,j) = \frac{P(q_t=s_i, q_{t+1} = s_j , O; \mu)}{P(O;\mu)} \\ =\frac{a_t(i)a_{ij}b_j(O_{t+1})\beta_{t+1}(j)}{P(O;\mu)}\\ =\frac{a_t(i)a_{ij}b_j(O_{t+1})\beta_{t+1}(j)}{\sum_{i=1}^N\sum_{j=1}^Na_t(i)a_{ij}b_j(O_{t+1})\beta_{t+1}(j)}(18-1)$$
    给定HMM的参数 $\mu$和观察序列 $O=O_1O_2\dots O_T$在时间 $t$位于状态$s_i$的概率 $\gamma_t(i)$为：
$$\gamma_t(i) = \sum_{j=1}^N \xi_t(i,j) （18-2）$$
由此， $\mu$的参数可由下式估计：
$$\bar{\pi_i} = P(q_1=s_i |O; \mu) = \gamma_1(i)\\ \bar{a}_{ij}= \frac{Q中从状态q_i转移到q_j的期望次数}{Q中所有从状态q_i转移到另一状态（包含q_j）的期望次数}\\ =\frac{\sum_{t=1}^{T-1}\xi_t(i,j) }{\sum_{t=1}^{T-1}\gamma_t(i)}\\ \bar{b}_j(k) = \frac{Q中从状态q_j输出符号v_k的期望次数}{Q到达q_j的期望次数}\\ =\frac{\sum_{t=1}^{T}\gamma_t(j)\delta(O_t, v_k)}{\sum_{t=1}^{T}\gamma_t(j)}$$

三、前向后向算法

    根据上述思路，给出前向后向算法：
1. 初始化：随机地给参数$\pi_i,a_{ij}, b_j(k)$赋值，使得满足如下约束：

$$\sum_{i=1}^N \pi_i=1\\ \sum_{j=1}^N a_{ij} =1, 1 \le i \le N\\ \sum_{k=1}^M b_j(k) =1, 1 \le j \le N$$
由此，得到模型 $\mu_0$.令 $i=0$，执行下面的EM估计。
2. EM计算
E步：由模型 $\mu_i$根据公式18-1和18-2计算 $\xi_t(i,j)$和 $\gamma_t(i)$；
M步：用E步得到的期望值重新估计模型参数 $\pi_i,a_{ij}, b_j(k)$，得到模型 $\mu_{i+1}$
3. 循环计算：
令 $i = i+1$， 重复EM计算，直到 $\pi_i,a_{ij}, b_j(k)$收敛。