PRML第八章：概率图模型

0 概率&概率图模型

世界的真实状态几乎无法通过我们有限的观测完全确定下来，因为大多数关系根本就是非确定性的，至少相对于我们对其的建模能力而言。不确定性的出现源于我们对世界的观察能力有限，对其建模的能力有限，甚至可能源于其固有的不确定性。由于这种关于真实世界状态的普遍且根本的不确定性的存在，需要我们的推理系统考虑不同的可能性。为了得到有意义的结论，我们不仅需要推理什么是可能的（possible），而且需要推理什么是很可能的（probable）$^{[1]}$
概率论运算为我们考虑多个可能的结果及其可能性提供了一种形式框架。它定义了一组互斥且无穷尽的可能时间，并赋予每种可能事件一个概率。概率论可以用两个简单的方程表示（加和规则和乘积规则）。PRML第一章
对于高维空间，使用简单的结构化概率模型表示起来会十分复杂。图模型是用图的方式表示概率推理 ，将概率模型可视化，方便展示变量之间的关系。概率图模型能利用复杂分布中的结构来紧凑表示它。

在概率图模型中， 每个节点表示一个随机变量（或一组随机变量），边表示这些变量之间的概率关系。概率图分为有向图和无向图。有向图主要是贝叶斯网络，无向图主要是马尔科夫随机场。

1 贝叶斯网络

1.1 链式法则与贝叶斯公式

条件概率链式法则：
P(A1A2...An)=P(A1)P(A2|A1)...P(An−1|A1A2,,,An−2)P(An|A