HMM学习笔记—001--前向算法(forward algorithm)

---

整理自博客：从一个实例中学习HMM前向算法

---

HMM在实际应用中主要用来解决3类问题：

1. 评估问题
   给定观测序列$o=o_1 o_2 o_3 ···o_t$和模型参数$\lambda=(A, B, \pi)$，怎么样有效计算这一个观测的概率。(Forward Algorithm，前向算法；Backforward Algorithm，后向算法)

2. 解码问题
   给定观测序列$o=o_1 o_2 o_3 ···o_t$和模型参数$\lambda=(A, B, \pi)$，怎么样寻找满足这种观测序列意义上最优的隐含状态序列$s$。

3. 学习问题
   HMM的模型参数$\lambda=(A, B, \pi)$未知，如何求出这3个参数以使观测数据$o=o_1 o_2 o_3 ···o_t$出现的概率尽可能大。

---

本篇文章只针对问题一

---

在阐述算法之前，先引入几个符号：
$a_t(i)$：表示到第 $t$ 个观测值 $o_t$ 时处于状态 $i$；
$b_i(o_x)$：表示在状态 $i$ 下产生观察值$o_x$的概率。

---

问题来源

我们要解决的是模型估计问题，即计算概率$P(O|\lambda)$。可以用如下公式简化：

$$P(O|\lambda)=\sum_{\forall Q}P(O, Q|\lambda)$$ 因此，首先要先计算 $$P(O, Q|\lambda)=P(O|Q, \lambda)*P(Q|\lambda)$$ , 其中，Q 为一给定的状态序列。又有 $$P(O|Q, \lambda)=\prod_{t=1}^TP(o_t|q_t, \lambda)=b_{q_1}(o_1)b_{q_2}(o_2)···b_{q_T}(o_T)$$ , 其中 $$p(Q|\lambda)=\pi_{q_i}a_{q_1q_2}···a_{q_{(T-1)}q_T}$$ , 所以 $$P(O,Q|\lambda)=\pi_{q_1}b_{q_1}(o_1)a_{q_1 q_2}b_{q_2}(o_2)···a_{q_{(T-1)}q_T}b_{q_T}(o_T)$$ 因此，最后求得： $$P(O|\lambda)=\sum_{\forall Q}P(O, Q|\lambda)$$ $$=\sum_{\forall Q}\pi_{q_1}b_{q_1}(o_1)a_{q_1 q_2}b_{q_2}(o_2)···a_{q_{(T-1)}q_T}b_{q_T}(o_T)$$ 由此可见，上述计算复杂度非常大，为 $2TN^T$ 。

---

为了解决上述算法计算量大的问题，前向算法就出现了。

---

首先定义了一个前向变量 $\alpha_t(i)$，表示在 $t$ 时刻，到达状态$s_i$ 的时候，观察到 $O_t$ 的概率。

前向变量$\alpha_t(i)$：$\alpha_t(i)=P(o_1o_2···o_t, q_t=i|\lambda)$
初值：$\alpha_1(i)=P(o_1, q_1=i)=\pi_ib_i(o_1)$

最后有递推关系：

$$P(O|\lambda)=\sum_{i=1}^N\alpha_T(i)$$

---

为什么这样就可以简化计算复杂度呢？其原因很简单，因为每一次的$a_t(i)$，我们都可以用$a_{t-1}(i)$来计算，就不用重复计算了。如下图所示：

---

举例

题目：HMM模型如下，试通过前向算法计算产生观察符号序列$O=\{ABAB\}$时每个时刻的$\alpha_t(i)$和总概率。其中，初始概率矩阵$n=(1, 0, 0)$，即开始处于状态1。

按照上面的公式理论，我们的递推一次解出$a_t(i)$。解法如下：

$t=1$时：

$t=2$时：

$t=3$时：

$t=4$时：

所以最后的结果：
$P(O|\lambda)=\alpha_4(1) + \alpha_4(2) + \alpha_4(3) = 0.0717679$

最后将其计算过程示意图表示如下：