让你一文轻松搞懂HMM

HMM 隐马尔可夫模型

1. 基本概念：

隐马尔科夫模型是关于时序的概率模型，描述由一个隐藏的马尔科夫链随机生成不可观测的随机状态序列，再由各个状态生成一个观测从而产生观测随机序列的过程。隐藏的马尔科夫链随机生成的状态序列，称为状态序列（state sequence）；每个状态生成一个观测，而由此产生的观测的随机序列，称为观测序列（observation sequence）。序列的每一个位置又可以看做是一个时刻。
注：在本文中假设状态值和观测值都是离散型的变量

如上图所示，用 t = 1, 2, … ,n 来表示时间序列，用Z来表示所有所有可能的状态值的集合，用X来表示所有可能的观测值的集合，且对于每一个时刻 t 来说，都有一个状态值 z_t ∈ Z 和一个观测值 x_t ∈ X。

2. HMM的三要素：

HMM中有三个重要参数，一般用 λ = (A, B, π)来表示，其中：

1. A代表状态转移矩阵，是一个|Z| x |Z|大小的矩阵（|Z|是所有可能的状态值的个数数）每一个元素 A_i.j = P(z_j | z_i) 代表在任意t时刻是状态z_i的情况下，t+1时刻转移到状态z_j的概率
2. B代表观测概率矩阵，是一个|Z| x |X|大小的矩阵（|Z|是所有可能的状态值的个数，|X|是所有可能的观测值的个数）每一个元素 B_i.j = P(x_j | z_i) 代表在任意t时刻是状态z_i的情况下，生成观测值x_j的概率
3. π代表初始状态概率向量，是一个长度为|Z|的向量，每一个元素π_i代表在t=1时刻处于状态z_i的概率

由以上定义可知HMM做了两个假设：

1. 齐次马尔可夫假设，即任意t时刻的状态只依赖于其前一时刻的状态，而与其他状态及观测无关：P(z_t | x_1:t-1, z_1:t-1) = P(z_t | z_t-1)
2. 观测独立性假设，即任意时刻的观测只依赖于该时刻的状态，而与其他状态及观测无关：
   P(x_t | x_1:t-1, z_1:t) = P(x_t | z_t)

接下来的部分介绍几个HMM常用于解决的问题：

3. Inference问题：

Inference问题又叫Decode问题，主要做的事情就是在已知参数λ = (A, B, π)的情况下，给定任意一个观测序列X =（x₁, x₂, x₃, … x_n）求出生成次观测序列可能性最大的状态序列Z的过程。（类比到词性标注问题上就是给定一句话比如“I love you”作为观测序列的时候求对应的词性序列也就是状态序列）
1）基本方法：
穷举所有的长度为n的状态序列，然后分别计算似然概率，取其中最大的值对应的状态序列，即：

式子中的每一项都可以从三要素中得到，但是这种穷举所需要的时间复杂度为O(|Z|ⁿ)，所以要寻找其他更加高效的方法。

2）维特比算法：
维特比算法是动态规划算法的一种，通过把大问题转化成字问题的形式，不断存储中间的个计算结果才减轻计算的时间复杂度。假设时间序列长度为n，状态序列为（z₁, z₂, …, z_k, z_k+1, … z_n-1, z_n）且状态z的取值有m种。可以把序列用图表示：

图中的路径代表，t=1时z₁取第二个状态，t=2时z₂取第一个状态，t=k时z_k取第二个状态，t=k+1时z_k+1取第j个状态，t=n-1时z_n-1取第j+1个状态，t=n时z_n取第j个状态。也就是谁所有可能的状态序列都可以用路径的形式在图中画出来，那么问题就转化成了我们要找到一条最好的路径。图中所示路径的该路概率可以表示为：
先定义几个变量：
δ_k(i) ：截止到k时刻，z_k取到状态 i 的所有路径中，最好的路径所对应的score(对数似然函数)
δ_k+1(j) ：截止到k+1时刻，z_k+1取到状态 j 的所有路径中，最好的路径所对应的score(对数似然函数)，我们不知道k时刻取到哪一个状态，它有可能是任何一个状态

可以把 δ_k+1(j) 拆分成用 δ_k(i) 表示的子问题，然后找最好的路径：