HMM经典介绍论文【Rabiner 1989】翻译（十）——连续观测密度

4.1 连续观测密度

目前为止我们的讨论中只考虑了观测是离散值的情况，这种情况下对每个状态可以使用离散概率密度。但是存在一些应用离散值是连续信号（比如向量）。虽然可以通过码本把连续信号量化，但是这种量化可能存在严重的退化。所以希望HMM中可以用连续观测密度。

为了使用连续观测密度，必须对模型概率密度函数(probability density function, pdf)进行约束以使得pdf的参数可以通过一致的方法进行估计。最一般的pdf的表示是如下的有限混合形式：

$$b_i(\boldsymbol O)= \sum_{m=1}^M c_{jm}{f}[\boldsymbol O, {\boldsymbol \mu}_{jm}, {\boldsymbol U}_{jm}], 1\leq j \leq N \tag{49}$$

其中$\boldsymbol O$是被建模的向量，$c_{jm}$是在状态$j$的第$m$个混合的系数，$f$是log-凹或者椭圆对称密度（比如高斯），${\boldsymbol \mu}_{jm}$和${\boldsymbol U}_{jm}$分别为状态j下第m个混合的均值向量和协方差矩阵。一般$f$为高斯密度。混合增益$c_{jm}$满足随机约束：

$$\sum_{m=1}^M c_{jm} = 1, \quad 1\leq j \leq N \tag{50a}$$

$$c_{jm} \geq 0, \quad 1\leq j \leq N, 1\leq m \leq M \tag{50b}$$

以使得pdf被正确归一化，即

$$\int_{-\infty}^{\infty} b_j(\boldsymbol x)d{\boldsymbol x} = 1, \quad 1 \leq j \leq N. \tag{51}$$

(49)表示的pdf可以任意近地近似任一有限连续密度函数。所以可以用于解决很多问题。

混合密度系数的估计公式为

$$\bar{c_{jk}} = \frac{\sum_{t=1}^T \gamma_t(j, k) }{\sum_{t=1}^T \sum_{k=1}^M \gamma_t(j, k)} \tag{52}$$

$${\bar{\boldsymbol \mu}}_{jk} = \frac{\sum_{t=1}^T \gamma_t(j, k) \cdot \boldsymbol O_t}{\sum_{t=1}^T \gamma_t(j, k)} \tag{53}$$

$${\bar{\boldsymbol U}}_{jk} = \frac{\sum_{t=1}^T \gamma_t(j, k)\cdot (\boldsymbol O_t - {\boldsymbol \mu}_{jk} )( {\boldsymbol O}_t - {\boldsymbol \mu}_{jk} )' }{\sum_{t=1}^T \gamma_{t}^(j, k) }\tag{54}$$

其中$'$表示向量转置，$\gamma_t(j, k)$是用第$k$个混合元素解释$\boldsymbol O_t$ 时，$t$时刻状态为$j$的概率，即

$$\gamma_t(j, k) = \left[ \frac{\alpha_t(j)\beta_t(j)}{ \sum_{j=1}^N \alpha_t(j)\beta_t(j) } \right] \left[ \frac{c_{jk} f( {\boldsymbol O}_t, {\boldsymbol \mu}_{jk}, {\boldsymbol U}_{jk} ) }{ \sum_{m=1}^M c_{jm} f( {\boldsymbol O}_t, {\boldsymbol \mu}_{jm}, {\boldsymbol U}_{jm} ) } \right].$$

$\gamma_t(j, k)$在只有一个混合的时候泛化为(26)中的$\gamma_t(j)$。$a_{ij}$的估计表达式和离散观测密度时的一样（(40b)）。$c_{jk}$的估计式是当使用第k个混合元素时系统在状态j的期望次数与系统在状态j的总期望次数的比例。类似地，均值向量${\bar{\boldsymbol \mu}}_{jk}$的估计式是第k个混合元素对观测向量的贡献的期望比例。协方差矩阵${\bar{\boldsymbol U}}_{jk}$也有类似的解释。