概率图模型5：无向图入门

作者：孙相国

定义1：因子与辖域

假定\(D\)表示随机变量集合，因子\(\phi\)定义为从\(Val(D)\)映射到实数域\(R\)的一个函数。假如因子的所有表值均非负，那么这个因子称为非负的。变量集\(D\)称为因子的辖域.

具体来讲，你可以简单地把因子想象为集合\(D=\{X_1,X_2,\cdots,X_n\}\)的联合概率（当然，未必是联合概率，也可能是其他形式的局部概率，等等）特别的，令\(X,Y,Z\)为三个不相交的变量集，且令\(\phi_1(X,Y),\phi_2(Y,Z)\)是两个因子。因子的乘积\(\phi_1 \times \phi_2\)定义为新的因子：\(\psi:Val(X,Y,Z) \mapsto \mathbb{R}\):

\(\psi(X,Y,Z)=\phi_1(X,Y)\times\phi_(Y,Z)\),关于因子的更多介绍，我们在上一篇博文中讲贝叶斯网络的时候，详细讨论过。这里不再多做解释。

定义2：成对、局部和全局马尔科夫性

以下内容引自李航《统计学习方法》

定义3：概率无向图模型

定义4：吉布斯分布与无向图因子分解

假如分布\(P_\phi\)定义为：
\[ P_\phi(X_1,X_2,\cdots,X_n)=\frac{1}{Z}\hat{P_\phi}(X_1,X_2,\cdots,X_n)\tag{1} \]

其中:

\(P_\hat{P_\phi}(X_1,X_2,\cdots,X_n)=\phi_1(D_1)\times\phi_2(D_2)\times \cdots \times\phi_m(D_m)\),\(D_i\)为变量集合的一个划分。

\(Z=\sum_{X_1,\cdots,X_n}\hat{P_\phi}(X_1,X_2,\cdots,X_n)\),为规范化因子。

则，分布\(P_\phi\)成为因子集\(\phi={\phi_1(D_1),\cdots,\phi_k(D_k)}\)参数化的吉布斯分布

特别的，如果上面的定义中\(D_i\)为无向图的最大团。那么式子\((1)\)即为无向图联合概率分布的因子分解。函数\(\phi_i(D_i)\)称为势函数，通常要求为严格正的，一般定义为：
\[ \phi_i(D_i)=exp\{-E(D_i)\}\tag{2} \]
上述论断又称为Hammersley-Clifford定理

转载于:https://www.cnblogs.com/xiangguosun/p/6785388.html