概率图模型家族（HMM、MaxEnt、MEMM和CRF）

目录

概率图（Probabilistic Graphical）

有向概率图

无向概率图

隐马尔科夫模型（HMM）

最大熵模型（MaxEnt）

最大熵马尔科夫模型（MEMM）

 条件随机场（Conditional Random Field）

一般CRF

一般CRF参数化

线性链CRF

线性链CRF参数化

总结

简单应用——基于CRF地名识别

---

        隐马尔科夫模型（Hidden Markov Model，HMM）、最大熵模型（Maximum Entropy Model，MaxEnt）、最大熵马尔科夫模型（Maximum Entropy Markov Model，MEMM）和条件随机场（Conditional Random Fields，CRF）都是概率图模型（Probabilistic Graphical Model，PGM），在翻阅了很多此类模型的文章后，有很多收获，但它们比较分散，决定将其记录在一篇文章中。此文完成后，仍有很多细节不尽人意，但是知识的熟悉是循序渐进的，后面有新的理解慢慢加入。遂成此文。

        我们先从概率图说起。

概率图（Probabilistic Graphical）

        概率图通俗来说，就是使用图来表示概率。在很多的应用场景中，我们都需要计算事件发生的联合概率，比如如下一段文档：

        概率图模型是用图来表示变量概率依赖关系的理论，结合概率论与图论的知识，利用图来表示与模型有关的变量的联合概率分布。由图灵奖获得者Pearl开发出来。概率图模型理论分为概率图模型表示理论，概率图模型推理理论和概率图模型学习理论。近10年它已成为不确定性推理的研究热点，在人工智能、机器