概率图模型 HMM CRF 学习笔记

1.机器学习最重要的任务，是根据一些可观测的样本数据，对感兴趣的未知变量（例如类别标记）进行评估和推测。概率模型（probabilistic model）提供了一种描述框架，将学习任务归结于计算变量的概率分布。在概率模型中，利用已知变量推测未知变量的分布称为‘推断’，其核心是如何基于可观测变量推测出未知变量的条件分布。注意 推断和预测不同，由果溯因的过程也是推断，而预测则不具备这种能力。
概率图模型分为
生成式模型：考虑联合分布P(Y,R,O)
判别式模型：考虑条件分布P(Y,R|O)
关心的变量集合为Y，可观测变量集合为O，其他变量的集合为R。
推断就是由P(Y,R,O)或P(Y,R|O)得到条件概率分布P(Y|O)
2.概率图模型是一类用图来表达变量相关关系的概率模型。以图为表示载体，结点代表一个或一组随机变量，结点间的边表示变量间的概率相关关系，即‘变量关系图’。根据边的性质的不同，概率图模型分为：
有向图模型（贝叶斯网）: 有向无环图表示变量间的依赖关系 HMM
无向图模型（马尔可夫网）：无向图表示变量间的相关关系
3.隐马尔可夫模型（HMM）
隐马尔可夫模型是结构最简单的动态贝叶斯网，是著名的有向图模型，主要用于时序数据建模，在语音识别、自然语言处理等领域广泛应用。例如使用HMM做分词算法，基于HMM的词性标注等等。

如图，隐马尔可夫模型的变量分为两组，第一组是状态变量y,通常假定状态变量是隐变量，即不被观察得到。第二组是观测变量x,从图可以看出任意时刻观测变量的取值仅依赖于状态变量，即xt由yt确定，与其他状态变量和观测变量无关。同时t时刻的状态yt仅依赖于t−1时刻的状态yt−1，与此前n−2个状态无关。这就是所谓的“马尔可夫链（Markov chain）”，即：系统下一个时刻的状态仅由当前状态决定，不依赖于以往的任何状态。基于这种依赖关系，所有变量的联合概率分布为

除了机构信息外，要确定一个隐马尔可夫模型，还需要三组参数：
（1）状态转移概率： 模型在各个状态间转换的概率，通常记为矩阵,
其中

表示在任意时刻t，若状态为Si，则在下一时刻状态为Sj的概率。
（2）输出观测概率： 模型根据当前状态获得各个观测值的概率，通常记为矩阵
其中

表示在任意时刻t，若状态为Si，则观测值Oj被获取的概率。
（3）初始状态概率： 模型在初始时刻各状态出现的概率，通常记为π=(π1,π2,…,πn)，其中

表示模型的初始状态为Si的概率.