<统计学习方法>6 隐马尔可夫模型

• 隐马尔科夫模型（Hidden Markov Model, HMM）是可用于标注问题的统计学模型
• 描述由隐藏的马尔科夫链随机生成观测序列的过程，属于生成模型。

隐马尔可夫模型基本概念

定义

• 隐马尔科夫模型是关于时序的概率模型，描述由一个隐藏的马尔科夫链随机生成不可观测的状态随机序列，再由各个状态生成一个观测而产生观测随机序列的过程。
  
  • 隐藏的马尔科夫链随机生成的状态的序列，称为状态序列 (state sequence)
  • 每个状态生成一个观测，而由此产生的观测的随机序列，称为观测序列 (observation sequence)
  • 序列的每个位置又可以看作是一个时刻
• 隐马尔科夫模型由 初始概率分布、状态转移概率分布 以及 观测概率分布 确定。
• 形式定义如下：
  
  • 设 Q 是所有可能的状态的集合，V 是所有可能的观测的集合 $$Q = \{q_1, q_2, \cdots, q_N\}, \quad V= \{v_1, v_2, \cdots, v_M\}$$
    其中， N是可能的状态数， M是可能的观测数
  • I 是长度为 T 的状态序列， O 是对应的观测序列 $$I = (i_1, i_2, \cdots, i_T), \quad O=(o_1, o_2, \cdots, o_T)$$
  • A 是状态转移概率矩阵： $$A = [a_{ij}]_{N\times N}$$
    其中，$a_{ij} = P(i_{t+1}=q_j|i_t = q_i), i = 1,2,\cdots, N; \; j = 1,2, \cdots, N$ 是在时刻 t 处于状态 $q_i$ 的条件下在时刻 t+1 转移到状态 $q_j$ 的概率
  • B 是观测概率矩阵： $$B = [b_j(k)]_{N\times M}$$
    其中， $b_j(k) = P(o_t=v_k|i_t=q_j), k=1,2,\cdots, M; \; j=1,2,\cdots, N$ 是在时刻 t 处于状态 $q_j$ 条件下生成观测 $v_k$ 的概率
  • $\pi$ 是初始状态概率向量： $$\pi = (\pi_i)$$ 其中，$\pi_i = P(i_1=q_i), i = 1,2 \cdots, N$ 是时刻 t=1 处于状态 $q_i$ 的概率
• 隐马尔科夫模型由初始状态概率向量 $\pi$ 、状态转移概率矩阵 $A$ 和观测概率矩阵 $B$ 决定，这三者成为隐马尔科夫模型的三要素。$\pi$ 和 $A$ 决定状态序列， $B$ 决定观测序列。隐马尔科夫模型 $\lambda$ 可以用三元符号表示： $$\lambda = (A, B, \pi)$$
  
  • 状态转移概率矩阵 $A$ 与 初始状态概率向量 $\pi$ 确定了隐藏的马尔科夫链，生成不可观测的状态序列。
  • 观测概率矩阵 $B$ 确定了如何从状态生成观测，与状态序列综合确定了如何产生观测序列
• 从定义可知，隐马尔科夫模型有两个基本假设：
  
  • 齐次马尔可夫性假设，即 假设隐藏的马尔科夫链在任意时刻 t 的状态只依赖于其前一时刻的状态，与其他时刻的状态及观测无关，也与时刻 t 无关： $$P(i_t|i_{i-1}, o_{i-1}, \cdots, i_1, o_1), \quad t=1,2,\cdots, T$$
  • 观测独立性假设，即 假设任意时刻的观测只依赖于该时刻的马尔科夫链的状态，与其他状态及观测无关： $$P(o_t|i_{r}, o_{r},i_{r-1}, o_{r-1}, \cdots, i_{t+1}, o_{t+1},i_{t}, i_{t-1}, o_{t-1}, \cdots, i_1, o_1)=P(o_t|i_t)$$

观测序列的生成过程

• 根据隐马尔可夫模型定义，可以将一个长度为 T 的观测序列 $O = (o_1,o_2,\cdots, o_r)$ 的生成过程描述如下：
  
  • 输入： 隐马尔可夫模型 $\lambda = (A,B,\pi)$, 观测序列长度 $T$
  • 输出：观测序列 $O = (o_1,o_2,\cdots, o_r)$
  • (1) 按照初始状态分布 $\pi$ 产生状态 $i_1$
  • (2) 令 $t=1$
  • (3) 按照状态 $i_t$ 的观测概率分布 $b_{i_t}(k)$ 生成 $o_t$
  • (4) 按照状态 $i_t$ 的状态转移概率分布 $\{a_{i_ti_{t+1}}\}$ 产生状态 $i_{t+1}, i_{t+1} = 1,2,\cdots, N$
  • (5) 令 $t=t+1$, 如果 $t<T$，转步(3)，否则终止

隐马尔可夫模型的3个基本问题

• 概率计算问题：给定模型 $\lambda = (A,B,\pi)$ 和观测序列 $O=(o_1,o_2,\cdots, o_T)$，计算在模型 $\lambda$ 下观测序列 O 出现的概率 $P(O|\lambda)$
• 学习问题：已知观测序列 $O=(o_1,o_2,\cdots, o_T)$， 估计模型 $\lambda = (A,B,\pi)$ 参数，使得在该模型下观测序列概率 $P(O|\lambda)$ 最大，即用极大似然估计的方法估计参数
• 预测问题：也成解码问题，已知模型 $\lambda = (A,B,\pi)$ 和观测序列 $O=(o_1,o_2,\cdots, o_T)$，求对给定观测序列条件概率 $P(I|O)$ 最大的状态序列 $I=(i_1,i_2, \cdots, i_T)$。即给定观测序列，求最有可能的对应的状态序列

---

概率计算方法

直接计算法

• 首先，要计算的是：给定模型 $\lambda = (A,B,\pi)$ 和观测序列 $O=(o_1,o_2,\cdots, o_T)$ ，计算观测序列 O 出现的概率 $P(O|\lambda)$
• 最直接的方式是按概率公式直接计算：通过列举所有可能的长度为 T 的状态序列 $I=(i_1,i_2, \cdots, i_T)$，求各个状态序列 I 与观测序列 $O=(o_1,o_2,\cdots, o_T)$ 的联合概率分布 $P(O, I|\lambda)$，然后对所有可能的状态序列求和，得到 $P(O|\lambda)$
• 状态序列 $I=(i_1,i_2, \cdots, i_T)$ 的概率是 $$P(I|\lambda) = \pi_{i_1}a_{i_1i_2}a_{i_2i_3} \cdots a_{T_1T}$$
• 对固定的状态序列 $I=(i_1,i_2, \cdots, i_T)$ ，观测序列 $O=(o_1,o_2,\cdots, o_T)$ 的概率是 $P(O|I, \lambda)$, $$P(O|I, \lambda) = b_{i_1}(o_1)b_{i_2}(o_2)\cdots b_{i_T}(o_T)$$
• O 和 T 同时出现的联合概率为 $$P(O, I | \lambda) = P(O|I, \lambda)P(I|\lambda) = \pi_{i_1}b_{i_1}(o_1)a_{i_1i_2}b_{i_2}(o_2)\cdots a_{i_{T-1}i_T}b_{i_T}(o_T)$$
• 然后对所有可能的状态序列 I 求和，得到观测序列 O 的概率 $P(O|\lambda)$：$P(O|\lambda) = \sum_IP(O|I,\lambda)P(I|\lambda)$
• 但是这种方法计算量太大，是 $O(TN^T)$ 阶的，所以我们需要用前向或后向算法

前向计算法

• 定义前向概率：给定马尔可夫模型 $\lambda$，定义到时刻 t 部分观测序列为 $o_1, o_2, \cdots, o_t$ 且状态为 $q_i$ 的概率为前向概率，记作 $$\alpha_t(i) = P(o_1, o_2, \cdots, o_t,i_t=q_i|\lambda)$$
  可以递推地求得前向概率 $\alpha_t(i)$ 及观测序列概率 $P(O|\lambda)$
• 算法：
  
  • 输入：隐马尔可夫模型 $\lambda$, 观测序列 $O$
  • 输出：观测序列概率 $P(O|\lambda)$
  • (1) 初值： $$\alpha_1(i) = \pi_ib_i(o_1), \quad i=1,2,\cdots, N$$
  • (2) 递推：对 $t= 1,2,\cdots, T-1$ $$\alpha_{t+1}(i) = [\sum^N_{j=1}\alpha_t(j)a_{ji}]b_i(o_{t+1}), \quad i=1,2,\cdots,N$$
  • (3) 终止 $$P(O|\lambda) = \sum^N_{i=1}\alpha_T(i)$$

后向计算法

• 定义后向概率：给定隐马尔可夫模型 $\lambda$，定义到时刻 t 状态为 $q_i$ 的条件下，从 t+1 到 T 的部分观测序列为$o_{t+1}, o_{t+2}, \cdots, o_T$ 的概率为后向概率，记作 $$\beta_t(i) = P(o_{t+1}, o_{t+2}, \cdots, o_T|i_t=q_i, \lambda)$$
  可以递推地求得后向概率 $\beta_t(i)$ 及观测序列概率 $P(O|\lambda)$
• 算法：
  
  • 输入：隐马尔可夫模型 $\lambda$, 观测序列 $O$
  • 输出：观测序列概率 $P(O|\lambda)$
  • (1) $$\beta_T(i) = 1, \quad i=1,2,\cdots,N$$
  • (2) 对 $t=T-1, T-2, \cdots, 1$ $$\beta_{t}(i) = \sum^N_{j=1}a_{ij}b_j(o_{t+1})\beta_{t+1}(j), \quad i=1,2,\cdots,N$$
  • (3) $$P(O|\lambda) = \sum^N_{i=1}\pi_ib_i(o_1)\beta_1(i)$$

概率与期望的计算

---

学习算法

监督学习法

Baum-Welch 算法

Baum-Welch 模型参数估计

---

预测算法

近似算法

维特比算法

---

Summary