概率图模型-HMM（隐马尔可夫模型）

1.引言

HMM隐马尔可夫模型是一种经典的概率图模型，是动态贝叶斯网络，即是一种有向图，是一种生成模型。它和GMM（高斯混合模型），朴素贝叶斯模型，最大熵马尔科夫模型，条件随机场模型之间的联系比较多。它较GMM和NB优化，但是由于自身一些不合理的假设。这也就产生了后面的模型，MEMM（最大熵马尔科夫模型）和CRF（条件随机场），这两个模型都克服了HMM的假设，使得问题变得合理化。概率图模型不同于传统的统计机器学习方法，传统的统计机器学习的三个基本问题是关于模型，策略，还有算法。可以看成是一个优化已经构建的损失函数的问题。而概率图模型则不同，它包括了learning还有inference这两个过程，是一个积分问题。HMM广泛运用于自然语言处理中的机器翻译，词性标注，命名体识别等等。。。它的缺陷也是十分明显的，模型较为简单，因为假设过多，包括了齐次马尔科夫假设（HMM 的任一时刻 t 的某一隐状态只依赖于其前一时刻的隐状态，与其它时刻的隐状态及观测变量无关）和观测独立性假设（任一时刻的观测变量只依赖于该时刻的马尔科夫链的隐状态变量，与其他观测及隐状态无关）。

研究HMM一般是从三个问题出发，evaluation（概率计算问题），learning（参数估计问题），还有decoding（求解最优隐状态序列）。

首先先对HMM的一些参数进行一些说明，包括观测变量O，其值域为V，隐状态变量I，其值域为Q。π为初始概率矩阵，A为状态转移矩阵，表示从隐状态i转移到隐状态j的概率大小。B为发射矩阵，表示从隐状态j到观测变量k的概率。而模型参数 λ= (A, B, π)。

2.三个问题

1.evaluation问题

evaluation问题是一个概率计算问题，是在给定λ的情况下求解P（O|λ）的问题。所以这就涉及到了一个问题，如何计算？一般而言有两种方法。

第一种，暴力求解,如下图所示:

这种方法的缺点很明显，就是时间复杂度太大，达到指数级。

第二种就是前向和后向算法，这两种算法比较类似，一个从前往后算，一个从后往前算，都要预先定义一个函数。找出这个函数的递推关系，就能求解P（O|λ），且时间复杂度成功降到了O（N*N）如下图所示：

2.learning问题

evaluation问题是在给定λ的情况下，求解概率，而learning问题则是求解λ，而这就要涉及到一个很著名的算法：EM算法，被称为数据挖掘十大经典算法之一。简单的来说，就是先将HMM的参数带入到EM公式，得到关于所求变量的方程，再加上概率和为1的条件，用我们平时所用的求条件极值的方法即可求解各个参数，具体求解方法如下图所示：

3.decoding问题

decoding问题是一个求解最优隐状态序列的问题，具体要用到维特比算法，一个动态规划算法，可以这样理解，每次先固定前面还未求解的前n-1个隐状态变量，根据现有条件求解第n个状态变量的最优值，由此迭代，达到全局最优，具体求解过程如下图所示：

3.总结

所以总的来说弄懂HMM，就把HMM的一个模型λ= (A, B, π)，两个假设，还有三个问题弄清楚就OK了，HMM存在的问题，后面介绍的CRF（条件随机场）会一一解决。