概率图模型5：无向图入门

作者：相国大人

---

写这篇博文用了很多时间和精力，如果这篇博文对你有帮助，希望您可以打赏给博主相国大人。哪怕只捐1毛钱，也是一种心意。通过这样的方式，也可以培养整个行业的知识产权意识。我可以和您建立更多的联系，并且在相关领域提供给您更多的资料和技术支持。

赏金将用于拉萨儿童图书公益募捐
手机扫一扫，即可：

附：《春天里，我们的拉萨儿童图书馆，需要大家的帮助》

---

1. 导读

---

概率图模型系列博文目录（实时更新）

概率图模型1：隐马尔科夫(1)

---

概率图模型1：隐马尔科夫(2)

---

概率图模型1：隐马尔科夫(3)

---

概率图模型4：贝叶斯网络

---

概率图模型5：无向图入门

---

概率图模型6：条件随机场(1)

---

定义1：因子与辖域

假定$D$表示随机变量集合，因子$\phi$定义为从$Val(D)$映射到实数域$R$的一个函数。假如因子的所有表值均非负，那么这个因子称为非负的。变量集$D$称为因子的辖域.

具体来讲，你可以简单地把因子想象为集合$D=\{X_1,X_2,\cdots,X_n\}$的联合概率（当然，未必是联合概率，也可能是其他形式的局部概率，等等）特别的，令$X,Y,Z$为三个不相交的变量集，且令$\phi_1(X,Y),\phi_2(Y,Z)$是两个因子。因子的乘积$\phi_1 \times \phi_2$定义为新的因子：$\psi:Val(X,Y,Z) \mapsto \mathbb{R}$:

$\psi(X,Y,Z)=\phi_1(X,Y)\times\phi_(Y,Z)$,关于因子的更多介绍，我们在上一篇博文中讲贝叶斯网络的时候，详细讨论过。这里不再多做解释。

定义2：成对、局部和全局马尔科夫性

以下内容引自李航《统计学习方法》

定义3：概率无向图模型

定义4：吉布斯分布与无向图因子分解

假如分布$P_\phi$定义为：

$$P_\phi(X_1,X_2,\cdots,X_n)=\frac{1}{Z}\hat{P_\phi}(X_1,X_2,\cdots,X_n)\tag{1}$$

其中:

$P_\hat{P_\phi}(X_1,X_2,\cdots,X_n)=\phi_1(D_1)\times\phi_2(D_2)\times \cdots \times\phi_m(D_m)$,$D_i$为变量集合的一个划分。

$Z=\sum_{X_1,\cdots,X_n}\hat{P_\phi}(X_1,X_2,\cdots,X_n)$,为规范化因子。

则，分布$P_\phi$成为因子集$\phi={\phi_1(D_1),\cdots,\phi_k(D_k)}$参数化的吉布斯分布

特别的，如果上面的定义中$D_i$为无向图的最大团。那么式子$(1)$即为无向图联合概率分布的因子分解。函数$\phi_i(D_i)$称为势函数，通常要求为严格正的，一般定义为：

$$\phi_i(D_i)=exp\{-E(D_i)\}\tag{2}$$
上述论断又称为 Hammersley-Clifford定理