HMM经典介绍论文【Rabiner 1989】翻译（十七）——多观测序列

5.2 多观测序列

在第4节我们讨论了左右HMM（Bakis模型），这种模型中状态按序从$t=1$时的状态1移动到$t-T$时的状态N。我们已经讨论了左右模型是怎么对状态转移矩阵施加约束的以及初始状态概率(45)-(48)。但是，左右模型的主要问题是不可能只用一个观测序列训练模型。这是因为模型中状态的瞬态性质允许状态被观察到有限几次，直到转移到后续状态。为了有足够的数据对模型参数进行可靠估计，我们必须使用多个观察序列。估计过程修改如下。我们定义$K$个观测序列为

$$\boldsymbol O = [ \boldsymbol O^1 , \boldsymbol O^2, \cdots, \boldsymbol O^K ] \tag{106}$$

其中$\boldsymbol O^k = [\boldsymbol O_1^k \boldsymbol O_2^k \cdots \boldsymbol O_{T_k}^k ]$是第$k$个观测序列。我们假设每个观测序列和其他所有的观测序列之间是独立的，并且我们的目的是调整模型参数$\lambda$以最大化

$$\begin{align} P(\boldsymbol O|\lambda) &= \prod_{k=1}^K P(\boldsymbol O^k | \lambda) \tag{107} \\\\ & = \prod_{k=1}^K P_k, \tag{108} \end{align}$$
其中 $P_k$是每个序列的概率，可以通过前向算法进行计算。

现在

$$\begin{align} \gamma_t^k(i) &= P(q_t^k = S_i | \boldsymbol O, \lambda) \\\\ & = P(q_t^k = S_i | \boldsymbol O, \lambda) \\\\ & = \frac{\alpha_t^k(i) \beta_t^k(i)}{P(\boldsymbol O^k | \lambda)} \\\\ & = \frac{\alpha_t^k(i) \beta_t^k(i)}{P_k} \end{align}$$

$$\begin{align} \xi_t^k(i, j) &= P(q_t^k = S_i, q_{t+1}^k= S_j | \boldsymbol O, \lambda) \\\\ & = P(q_t^k = S_i, q_{t+1}^k= S_j | \boldsymbol O^k, \lambda) \\\\ &= \frac{\alpha_t^k(i)a_{ij}b_j(O_{t+1}^k) \beta_{t+1}^k(j) }{P(\boldsymbol O^k, \lambda)} \\\\ & = \frac{\alpha_t^k(i)a_{ij}b_j(O_{t+1}^k) \beta_{t+1}^k(j) }{P_k} \end{align}$$

在参数估计表达式中，对单观测序列，分子分母中的$P(O|\lambda)$项可以被消掉；但是对于多观测序列是没法消掉的。

于是修改后的估计公式为

$$\begin{align} \bar{a_{ij}} &= \frac{\sum_{k=1}^K\sum_{t=1}^{T_k-1}\xi_t^k(i,j)}{\sum_{k=1}^K \sum_{t=1}^{T_k -1} \gamma_t^k(i)} \nonumber \\\\ &= \frac{ \sum_{k=1}^K \frac{1}{P_k} \sum_{t=1}^{T_k-1} \alpha_t^k(i)a_{ij}b_j(O_{t+1}^k) \beta_{t+1}^k(j) } { \sum_{k=1}^K \frac{1}{P_k} \sum_{t=1}^{T_k -1} \alpha_t^k(i) \beta_t^k(i) } \tag{109} \end{align}$$

$$\begin{align} \bar{b_j}(l) &= \frac{\sum_{k=1}^K \sum_{t=1, O_t^k=v_l}^{T_k} \gamma_t^k(i)}{\sum_{k=1}^K \sum_{t=1}^{T_k} \gamma_t^k(i)} \nonumber \\\\ &= \frac{ \sum_{k=1}^K \frac{1}{P_k} \sum_{t=1, O_t=v_l}^{T_k} \alpha_t^k(i)\beta_t^k(i) } { \sum_{k=1}^K \frac{1}{P_k} \sum_{t=1}^{T_k} \alpha_t^k(i) \beta_t^k(i) } \tag{110} \end{align}$$

$\pi_i$不需要重新估计，因为$\pi_1 = 1, \pi_i = 0, i\neq 1$。

(109)-(110)在实际中是不可行的，因为我们没有进行放大。进行放大后的估计公式为：

$$\begin {align} \bar{a_{ij}} &= \frac{ \sum_{k=1}^K \frac{1}{P_k} \sum_{t=1}^{T_k-1} \left[ {\hat \alpha}_t^k(i) a_{ij}b_j(O_{t+1}^k) {\hat \beta}_{t+1}^k(j) \right] / C_T^k } { \sum_{k=1}^K \frac{1}{P_k} \sum_{t=1}^{T_k -1} \left [ {\hat \alpha}_t^k(i) {\hat \beta}_t^k(i) \right] / (c_t^k C_T^k) } \nonumber \\\\ & = \frac{ \sum_{k=1}^K \sum_{t=1}^{T_k-1} {\hat \alpha}_t^k(i) a_{ij}b_j(O_{t+1}^k) {\hat \beta}_{t+1}^k(j)} { \sum_{k=1}^K \sum_{t=1}^{T_k -1} {\hat \alpha}_t^k(i) {\hat \beta}_t^k(i) / c_t^k } \tag{111a} \end{align}$$
里用到了 $P_kC_T^k = 1$。通过放大， $P_k$项也被消掉了。对 ${\bar b}_j(l)$也有类似的结果。