HMM经典介绍论文【Rabiner 1989】翻译（十六）——放大

5 HMM的实现问题

前面两节的讨论主要是关于HMM的理论以及模型的变体。这一节我们会讨论HMM的实现问题，包括放大、多观测序列、初始参数估计、数据丢失、模型大小以及类型的选择。对其中一些实现问题，我们可得到精确解析解；而对于其他问题，我们只能给出一些经验建议。

5.1 放大

为了理解在HMM参数估计过程中为什么需要放大，考虑(18)中定义的$\alpha_t(i)$。可以看到$\alpha_t(i)$包含很多项的和，每一项的形式为

$$\left( \prod_{s=1}^{t-1} a_{q_s q_{s+1}} \prod_{s=1}^t b_{q_s}(\boldsymbol O_s) \right ),$$

其中$q_t =S_i$。由于每个$a$和$b$项是小于1的（一般是远小于1的），所以当$t$变得比较大时（比如10或者更多），$\alpha_t(i)$的每一项开始趋向于0。对非常大的$t$（100或者更多），$\alpha_t(i)$计算的动态范围会超出机器的精度范围（甚至是双精度）。所以，唯一有效的计算方式是结合一个放大过程。

基本的放大步骤是把$\alpha_t(i)$乘以一个放大系数并且这个放大系数是独立于$i$的（即只依赖于t），使得放大后的$\alpha_t(i)$（$1\leq t \leq T$）位于计算机的动态范围中。对$\beta_t(i)$也要进行一个相似的放大步骤，在计算的最后，需要消掉放大系数。

为了更好地理解放大过程，考虑状态转移系数$a_{ij}$的估计公式。如果我们把估计公式(41)直接写成前向变量和后项变量的形式。可以得到

$${\bar a}_{ij} = \frac{ \sum_{t=1}^{T-1} \alpha_t(i)a_{ij}b_j(O_{t+1})\beta_{t+1}(j) }{ \sum_{t=1}^T \sum_{j=1}^N \alpha_t(i)a_{ij}b_j(O_{t+1}) \beta_{t+1}(j) }. \tag{90}$$

（原文中的符号表示有些混乱，下面做了些修改。）

首先令${\bar \alpha}_1(i) = \alpha_1(i)$。

对每个$t$，我们首先根据递推公式(20)计算${\bar \alpha}_t(i)$，然后乘以一个放大系数$c_t$：

$$c_t = \frac{1}{ \sum_{i=1}^N {\bar \alpha}_t(i) }. \tag{91}$$

于是，对固定的$t$，我们首先计算

$${\bar \alpha}_t(i) = \sum_{j=1}^N {{\hat \alpha}_{t-1}}(j) a_{ji} b_i(O_t). \tag{92a}$$

然后计算放大${\hat \alpha}_t(i)$：

$${\hat \alpha}_t(i) = \frac{{\bar \alpha}_i}{\sum_{i=1}^N {\bar \alpha}_i} = \frac{ \sum_{j=1}^N {{\hat \alpha}_{t-1}}(j) a_{ji} b_i(O_t)}{ \sum_{i=1}^N \sum_{j=1}^N {{\hat \alpha}_{t-1}}(j) a_{ji} b_i(O_t)}. \tag{92b}$$

通过递推，可以把${\hat \alpha}_{t-1}(j)$写成

$${\hat \alpha}_{t-1}(j) =\left[ {\prod_{\tau=1}^{t-1} c_{\tau}} \right] \alpha_{t-1}(j).\tag{93a}$$

于是有

$${\hat \alpha}_t(i) = \frac{\sum_{j=1}^N \alpha_{t-1}(j) \left( \prod_{\tau=1}^{t-1} c_{\tau} \right) a_{ij}b_j(O_t) } { \sum_{i=1}^N \sum_{j=1}^N \alpha_{t-1}(j)\left( \prod_{\tau=1}^{t-1}c_{\tau} \right) a_{ij} b_j(O_t) } = \frac{\alpha_t(i)}{\sum_{i=1}^N \alpha_t(i)} \tag{93b}.$$

下一步我们用后向地推计算$\beta_t(i)$。这里我们在每个$t$上仍然使用计算$\alpha$时用的放大因子。于是放大后的$\beta$是

$${\hat \beta}_t(i) = c_t {\bar \beta}_t(i). \tag{94}$$

因为每个放大因子把$\alpha$放大到和为1，由于$\alpha$和$\beta$项的值是相近的，使用同样的放大因子可以把$\beta$放大到有效范围。而且，参数估计公式(90)现在变成

$${\bar a}_{ij} = \frac{ \sum_{t=1}^{T-1} {\hat \alpha}_t(i)a_{ij}b_j(O_{t+1}){\hat \beta}_{t+1}(j) }{ \sum_{t=1}^{T-1} \sum_{j=1}^N {\hat \alpha}_t(i)a_{ij}b_j(O_{t+1}) {\hat \beta}_{t+1}(j) }, \tag{95}$$

而每个${\hat \alpha}_t(i)$可以写成

$${\hat \alpha}_{t}(i) = \left[ {\prod_{s=1}^{t} c_{s}} \right] \alpha_{t}(i) = C_t \alpha_t(i) \tag{96}$$

每个${\hat \beta}_{t+1}(j)$可以写成

$${\hat \beta}_{t+1}(j) = \left[ \prod_{s=t+1}^T c_s \right] \beta_{t+1}(j) = D_{t+1}\beta_{t+1}(j). \tag{97}$$

于是(95)可以写成

$${\bar a}_{ij} = \frac{ \sum_{t=1}^{T-1} C_t { \alpha}_t(i)a_{ij}b_j(O_{t+1})D_{t+1}{\beta}_{t+1}(j) }{ \sum_{t=1}^{T-1} \sum_{j=1}^N C_t {\alpha}_t(i)a_{ij}b_j(O_{t+1}) D_{t+1}{\beta}_{t+1}(j) }, \tag{98}$$

而$C_tD_{t+1}$项可以写作

$$C_tD_{t+1} = \prod_{s=1}^t c_s \prod_{s=t+1}^T c_s = \prod_{s=1}^T c_s = C_T \tag{99}$$

和$t$无关。于是(98)分子分母中的$C_tD_{t+1}$抵消了，得到的结果就是(90)对应的准确结果。（虽然是用放大后的$\hat \alpha$进行计算的，但得到的结果竟然和真实值一样！）

显然，上面的放大过程同样适用于$\pi$和$B$的估计。缩放过程(92)不需要在每个时刻$t$都要执行，而是可以在需要或必要（比如防止下溢）的时候才执行。如果某时刻$t$没有进行放大，只要把放大系数$c_t$设置成1，然后上面讨论的所有条件都满足。

由放大导致的唯一变化是$P(O|\lambda)$的计算过程。我们不能只对${\hat \alpha}_T(i)$进行求和，因为这些值是放大后的值。但是我们可以利用性质

$$\prod_{t=1}^T c_t \sum_{i=1}^N \alpha_T(i)= C_T \sum_{i=1}^N \alpha_T(i) = 1. \tag{100}$$

于是有

$$\prod_{t=1}^T c_t \cdot P(O|\lambda) =1\tag{101}$$

$$P(O|\lambda) =\frac{1}{\prod_{t=1}^Tc_t} \tag{102}$$

$$\log [P(O|\lambda)] = - \sum_{t=1}^T \log c_t. \tag{103}$$

于是得到$P$的log值，但是不是$P$，这是因为后者可能会超出计算机的动态范围。

最后我们注意到当使用Viterbi算法来得到似然最大的状态序列时，如果我们按下面的算法计算那么不需要放大过程。定义

$$\phi_t(i) = \max_{q_1,q_2, \cdots, q_t} \\{ \log P[q_1 q_2\cdots q_t, O_1O_2\cdots O_t| \lambda] \\} \tag{104},$$

初始值

$$\phi_1(i) = \log (\pi_i) +\log [b_i(O_1)] \tag{105a},$$

递推步骤

$$\phi_t(j) = \max{1\leq I leq N} [\phi_{t-1}(i) +\log a_{ij} ] + \log[b_j(O_t)] \tag{105b}$$

以及终止步骤

$$\log P^* = \max_{1\leq i \leq N} [\phi_T(i)]. \tag{105c}$$

这样我们得到$\log P^*$而非$P^*$，而计算量大大减少了并且没有数值问题。读者应该注意到(105b)中的$\log a_{ij}$项可以事先计算。并且，当观测值有限时$\log [b_j(O_t)]$项也可以事先计算。