HMM（隐马尔科夫模型）

HMM（隐马尔科夫模型）

1适用场景

hmm模型用于序列标注问题的统计学模型。描述有隐藏的马尔科夫链生成观测序列的过程。属于生成模型。

2算法原理

2.1 序列标注任务看做互不相干的多分类任务

序列标注算法的目的就是为了得到最大的联合条件概率作为输出。
$$\max P(o|x)=\max p(o_1{o}_2...o_m|x_1{x}_2...x_m)$$
如果假设每一个o都是条件独立，互不影响的。那么可以通过最大化每一个o的输入，从而使整体最大化。
$$\max P(o|x)=\sum _{i=1}^m\max p(o_i|x_1{x}_2...x_m)$$
这样做是对输入序列的每一个时刻都预测一个值（将每个位置看做是softmax的多分类）。并假设预测的值互不影响。这样做再部分情况下后出现不合理的结构。因为完全没有考虑其他输出值的影响。例如分词中出现SS的预测结果。

2.2 HMM

在马尔科夫模型中，将状态序列看做是隐状态，输入序列看做是观测序列。为考虑状态序列的相互影响关系，用贝叶斯公式对原式进行变性。
$$P(o|x)=\frac{p(o,x)}{p(x)}=\frac{p(x|o)p(o)}{p(x)}$$
$p(x)$是归一化因子，可不做考虑。那么求解最大化$\max p(o|x)$就等价于求解。$\max p(x|o)p(o)$，同时上式包含$p(o)$，可在$p(o)$中考虑输出的相互影响关系。
$$\max p(x|o)p(o)=\max p(x_1{x}_2...x_m|o_1{o}_2..{.}_m)p(o_1{o}_2...o_m)$$
为了简化复杂度，HMM做了一下两个假设：

1. 齐次马尔科夫假设

假设当前隐状态只受到前一时刻的隐状态影响，即：
$$p(o_1{o}_2...o_m)=p(o_1)p(o_2|o_1)...p(o_n|p_{n-1})$$

2. 观测独立性假设

假设当前观测状态只依赖当前隐状态，即：
$$p(x_1{x}_2...x_m|o_1{o}_2...o_m)=p(x_1|o_1)p(x_2|o_2)...p(x_m|o_m)$$
综合上面两个假设，原始的最大化目标就变成了
$$\max p(x|o)p(o)=\max p(o_1)p(x_1|o_1)\sum _{i=2}^{m}p(o_i|o_{i-1})p(x_i|o_i)$$
做了上面两个假设后，包含2n个变量的复杂概率图关系就变成了马尔科夫链。用下面有向图马尔科夫链来表示相互影响关系：

将上式$p(o_1)$称为起始概率$\pi$，$p(x_i|o_i)$称为发射概率$B$，$p(o_i|o_{i-1})$称为状态转移概率$A$。隐马尔科夫模型$\lambda$可以用三元符号表示。
$$\lambda =(\pi ,A,B)$$

3 马尔科夫三个问题

1. 概率计算问题

已知模型参数$\lambda =(\pi ,A,B)$和观测序列。计算在模型$\lambda =(\pi ,A,B)$下观测序列出现的概率$p(o|\lambda )$

2. 模型参数估计

3. 预测问题

已知模型参数$\lambda =(\pi ,A,B)$和观测序列。估计最可能的状态序列。在预测时，需要使用动态规划思想来简化计算。将该算法称为维特比算法。其思想就是保存已经算过的值，需要使用时直接查表，无需在重头计算（跟斐切那波数列的计算思想一样）。不使用动态规划进行预测的时间复杂度是$O(L{N}^L)$（L是序列长度，N是隐状态可取值的个数）。使用动态规划后时间复杂度下降至$O(L{N}^2)$。