（系列笔记）15.HMM系列（1）

HMM——定义和假设

概念讲解

概率模型（Probabilistic Model）

所谓概率模型，顾名思义，就是将学习任务归结于计算变量的概率分布的模型。

概率模型非常重要。在生活中，我们经常会根据一些已经观察到的现象来推测和估计未知的东西——这种需求，恰恰是概率模型的推断（Inference）行为所做的事情。

推断（Inference）的本质是：利用可观测变量，来推测未知变量的条件分布。

我们下面要讲的隐马尔可夫模型（HMM）和条件随机场（CRF）都是概率模型，之前讲过的朴素贝叶斯和逻辑回归也是概率模型。

生成模型和判别模型

概率模型可以分为生成模型（Generative Model）和判别模型（Discriminative Model）

我们将可观测变量的集合命名为$O$，我们感兴趣的未知变量的集合命名为 $Y$。
生成模型学习出来的是$O$和$Y$的联合概率分布$P(O,Y)$，而判别模型学校的是条件概率分布$P(Y|O)$，前面提到的朴素贝叶斯模型是生成模型，而逻辑回归是判别模型。

对于某一个给定的观察值，运用条件概率$P(Y|O)$很容易求出它对于不同$Y$的取值。那么当遇到分类问题时，直接就可以运用判别模型根据给定 $O$对于哪一个$Y$值的条件概率最大，来判断该观测样本该属于的类别。

而生成模型也可以用来给观测样本分类，通过运用贝叶斯法则，将生成模型转化为判别模型，这样会比较麻烦。所以在分类问题上，判别模型一般更具优势，不过生成模型自有其专门的用途。本讲HMM就是一种生成模型。

概率图模型（Probabilistic Graphical Model）

概率图模型：是一种以图（Graph）为表示工具，来表达变量间相关关系的概率模型。这里说的图：一种由节点和连接节点的边组成的数据结构。

在概率图模型中，一般用节点来表示一个或者一组随机变量，而节点之间的边则表示两个（组）变量之间的概率相关关系。

边可以是有向（有方向）的，也可以是无向的。概率图模型大致可以分为：

• 有向图模型（贝叶斯网络）：用有向无环图表示变量间的依赖关系；
• 无向图模型（马尔可夫网）：用无向图表示变量间的相关关系。

HMM 就是贝叶斯网络的一种——虽然它的名字里有和“马尔可夫网”一样的“马尔可夫”。

对变量序列建模的贝叶斯网络又叫做动态贝叶斯网络。HMM 就是最简单的动态贝叶斯网络。

马尔可夫链，马尔可夫随机场和条件随机场

马尔科夫链（Markov Chain）：一个随机过程模型，它表述了一些列可能的事件，在这个系列当中每一个事件的概率仅依赖于 前一个事件。

上图就是一个非常简单的马尔科夫链，两个节点分别表示晴天和雨天，几条边表示节点之间的转移概率。
一个晴天之后，0.9的可能又是一个晴天，0.1的可能是一个雨天；而一个雨天之后，0.5的可能是晴天，0.5的可能是另外一个雨天。

假设这是某个地区的天气预报模型（只有晴天和雨天两种天气），则明天天气的概率，只和今天的天气状况有关，和前提以及更早没有关系，那么我们只要知道今天的天气，就可以推测明天是晴是雨的可能性了。

隐马尔可夫模型（Hidden Markov Model，HMM）

HMM定义

HMM 是一个关于时序的概率模型，它的变量分为两组：

• 状态变量{ $s_1,s_2,...,s_T$}，其中$s_t\in S$表示t时刻的系统状态；
• 观测变量{ o 1 , o 2 , . . . , o T o_1,o_2,...,o_T