隐马尔可夫基本思想（HMM）

写在前面

我在学习语音处理的时候，课上老师花了很大的精力给我们讲解 HMM 算法。然而当时没有认真听，直到快考试了，才去学。一直觉得 HMM 是一个很神奇的东西，但搞懂它的思想其实并不难。本文不讲算法，只为读者介绍 HMM 的基本思想。

马尔科夫链

开始，一定要明白马尔科夫链是个什么东西，这是理解 HMM 的基础。

马尔科夫链是马尔科夫随机过程的特殊情况，它有两个参数——时间和状态，这两个参数都是离散的。数学上的定义如下：

随机序列$X_t$，在任一时刻 $t$，它可以处在状态 ${\theta }_1,...,{\theta }_N$，且它在 $t+k$ 时刻所处的状态为 $q_{t+k}$ 的概率，只与它在 t 时刻的状态 $q_t$ 有关，而与 t 时刻以前它所处的状态无关，即有
$$P(X_{t+k}=q_{t+k}|X_t=q_t,X_{t-1}=q_{t-1},...,X_1=q_1)=P(X_{t+k}=q_{t+k}|X_t=q_t)$$式中$$q_1,q_2,q_3,...,q_m,q_{m+k}\in ({\theta }_1,{\theta }_2,...,{\theta }_N)$$则称 $X_t$ 为马尔科夫链，并且称 $P_{ij}$ 为 k 步转移概率，表示如下：
$$P_{ij}(t,t+k)=P(q_{t+k}={\theta }_j|q_t={\theta }_i)$$

简单地说，就是当前时刻 t 的状态，只与之前的一个时刻 t-k 的状态有关，跟其他任何状态都没关系。

这个定义也有特殊的情况，如果状态转移与时刻 t 无关，即任一时刻 t 的状态，它对 t + k 时刻的状态影响是相同的，那么公式就可以表示为：

$$P_{ij}(t,t+k)=P_{ij}(k)$$

这时的马尔科夫链称为齐次马尔科夫链。

更特殊的话，就可以令 k = 1，这时，当前时刻的状态，就只与前一个时刻的状态有关，此时，$P_{ij}(1)$ 称为一步转移概率，简称转移概率，记为 $a_{ij}$。

由于 $1\le i,j\le N$，于是， $a_{ij}$ 就可以构成一个N * N 的转移矩阵。这就是我们本文需要用到的转移矩阵，可以如下表示：

$$A=\left[\begin{array}{ccc}{a}_{11}& \cdots & a_{1N}\\ ⋮& & ⋮\\ a_{N1}& \cdots & a_{NN}\end{array}\right]$$

此外，需要注意的是，想到得到概率分布，还需要给定初始的概率 ${\pi }_i$，后面解释 HMM 时再介绍。

HMM 基本思想

HMM 是在马尔科夫链的基础上建立起来的，它是一个双重随机过程。

假设有 N 个缸，每个缸中都有多种不同颜色的球，我们根据一个初始概率，随机地选择一个缸$i$,抓取一个球，记下颜色 $o_1$ ；然后再根据转移概率，选择下一个缸，再记下颜色 $o_2$…

这样循环下去，就可以记下一组颜色值 $o_1,o_2,\dots$。但这个颜色值不是跟状态一一对应的，也就是说，选择哪个缸后，并不能确定从这个缸中取出的球的颜色，还需要根据缸中球的分布来判断。

可以看到，观察序列不止与转移序列有关，还与状态中的颜色分布有关。这就是 HMM 的模型，双重随机过程。

下面看一下它的定义。

首先，定义五个参数：

（1）N：模型中马尔科夫链的状态数目。记 N 个状态为 ${\theta }_1，\dots ，{\theta }_N$。上面的实验中，缸的数目就代表了状态的数目 N。

（2）M：每个状态对应的可能观察值的数目。记 M 个观察值为 $V_1,\dots ,V_M$。上面的实验中，球的颜色就代表了观察值，其数目就是 M。

（3） $\pi$：初始状态概率，即初始的时候，选择哪个缸的概率。公示表示为：
$${\pi }_i=P(q_1={\theta }_i),1\le i\le N$$

（4）A：转移状态概率矩阵，即上面所说的状态之间的转移概率矩阵。实验中，当前缸选择下一个缸的概率就是从转移矩阵中获得的。

（5）B：观察值概率矩阵。即在第 j 个缸中，选择第 k 个颜色的概率。公示表示为：
$$b_{jk}=P(o_t=V_k|q_t={\theta }_j),1\le j\le N,1\le k\le M$$

这样，HMM 就可以表示为：

$$\lambda =(N,M,\pi ,A,B)$$

简写为：

$$\lambda =(\pi ,A,B)$$

最后

通俗地说，HMM 分为两部分，一部分是马尔科夫链，由 $\pi ,A$ 表示。代表了状态的转移概率，即实验中选择缸的概率。另一部分是一个随机过程，由 $B$ 表示，产生的输出是观察序列。实验中，球的颜色分布就代表了 $B$。