马尔科夫随机场与gibbs分布

1. 首先由两个定义，什么是马尔科夫随机场，以及什么是吉布斯分布

马尔科夫随机场：对于一个无向图模型G，对于其中的任意节点X_i，【以除了他以外的所有点为条件的条件概率】和【以他的邻居节点为条件的条件概率】相等，那么这个无向图就是马尔科夫随机场

Gibbs分布：如果无向图模型能够表示成一系列在G的最大团（们）上的非负函数乘积的形式，这个无向图模型的概率分布P(X)就称为Gibbs分布。

2. Hammersley Clifford Theorem

Hammersley Clifford Theorem理论认为，马尔科夫随机场和Gibbs分布是一致的。

也就是说：

1）Gibbs分布一定满足由node separation导致的条件独立性

2）马尔科夫随机场的概率分布一定可以表示成最大团们上的非负函数乘积形式

马尔可夫随机场（Markov Random Field），也有人翻译为马尔科夫随机场，它包含两层意思：一是什么是马尔可夫，二是什么是随机场。  [1]

马尔可夫一般是马尔可夫性质的简称。它指的是一个 随机变量序列按时间先后关系依次排开的时候，第N+1时刻的分布特性，与N时刻以前的随机变量的取值无关。拿天气来打个比方。如果我们假定天气是马尔可夫的，其意思就是我们假设今天的天气仅仅与昨天的天气存在概率上的关联，而与前天及前天以前的天气没有关系。其它如传染病和谣言的传播规律，就是马尔可夫的。

随机场包含两个要素：位置（site），相空间（phase space）。当给每一个位置中按照某种分布随机赋予相空间的一个值之后，其全体就叫做随机场。我们不妨拿种地来打个比方。“位置”好比是一亩亩农田；“ 相空间”好比是种的各种庄稼。我们可以给不同的地种上不同的庄稼，这就好比给随机场的每个“位置”，赋予相空间里不同的值。所以，俗气点说，随机场就是在哪块地里种什么庄稼的事情。

好了，明白了上面两点，就可以讲马尔可夫随机场了。还是拿种地打比方，如果任何一块地里种的庄稼的种类仅仅与它邻近的地里种的庄稼的种类有关，与其它地方的庄稼的种类无关，那么这些地里种的庄稼的集合，就是一个马尔可夫随机场。

证明方法可以参考Proof of Hammersley-Cli®ord Theorem, Samson Cheung

链接：http://web.kaist.ac.kr/~kyomin/Fall09MRF/Hammersley-Clifford_Theorem.pdf