概率图模型(2)--马尔科夫随机场

从随机场到马尔科夫随机场

首先，我们来看看什么是随机场。“随机场”的名字取的很玄乎，其实理解起来不难。随机场是由若干个位置组成的整体，当给每一个位置中按照某种分布随机赋予一个值之后，其全体就叫做随机场。还是举词性标注的例子：假如我们有一个十个词形成的句子需要做词性标注。这十个词每个词的词性可以在我们已知的词性集合（名词，动词…)中去选择。当我们为每个词选择完词性后，这就形成了一个随机场。

了解了随机场，我们再来看看马尔科夫随机场。马尔科夫随机场是随机场的特例，它假设随机场中某一个位置的赋值仅仅与和它相邻的位置的赋值有关，和与其不相邻的位置的赋值无关。继续举十个词的句子词性标注的例子：　如果我们假设所有词的词性只和它相邻的词的词性有关时，这个随机场就特化成一个马尔科夫随机场。比如第三个词的词性除了与自己本身的位置有关外，只与第二个词和第四个词的词性有关。

马尔可夫随机场

马尔可夫随机场（MRF）是典型的马尔可夫网，是一种著名的无向图模型。每个结点表示一个或一组变量，结点之间之间的边表示两个变量之间的依赖关系，马尔可夫随机场有一组势函数，定义在变量子集上的非负实函数，主要用于定义概率分布函数。

对于图中结点的一个子集，若其中任意两结点间都有边连接，则称该结点子集为一个“团”。若在一个团中加入另外任何一个结点都不再形成团，则称该团为“极大团”。显然，每个结点至少出现在一个极大团中。

在马尔可夫随机场中，多个变量之间的联合概率分布能基于团分解为多个因子的乘积，每个因子仅与一个团相关。具体来说，对于 n 个变量 $x=x_1,x_2,...,x_n$ ,所有团构成的集合为 C ，与团 $Q\in C$ 对应的变量集合记为 $x_Q$ , 则联合概率 $P(x)$ 定义为

$$P(x)=\frac{1}{Z}\prod _{Q\in C}{\psi }_Q(x_Q)$$

其中，${\psi }_Q$ 为与团 Q 对应的势函数。用于对团 Q 中的变量关系进行建模，$Z={\sum }_x{\prod }_{Q\in C}{\psi }_Q(x_Q)$ 为规范化因子，确保 $P(x)$ 被正确定义为概率。实际，精确计算 Z 通常很难，但许多任务不需要精确值。

如果变量的个数过多，团也会很多，上式会有很多项相乘。注意到若团 Q 不是极大团，则它必被一个极大团 $Q^{\ast }$ 所包含，意味着变量 $X_Q$ 之间的关系不仅体现在势函数 ${\psi }_Q$ 中，还体现在 ${\psi }_{Q^{\ast }}$ 中。假设所有极大团构成的集合为 $C^{\ast }$, 联合概率 $P(x)$ 基于极大团的定义如下

$$P(x)=\frac{1}{Z^{\ast }}\prod _{Q\in C\ast }{\psi }_Q(x_Q)$$

其中 $Z^{\ast }={\sum }_x{\prod }_{Q\in C\ast }{\psi }_Q(x_Q)$ 为规范化因子。

若从结点集A中的结点到B中的结点都必须经过C中的结点，称结点集A和结点集B被结点集C分离。C称为分离集。

在马尔可夫随机场中如何得到“条件独立性”？

全局马尔可夫性：给定两个变量子集的分离集，则这两个变量子集条件独立。

对于上图，全局马尔可夫独立性可表示为：$X_A\perp X_B|X_C$

另外，可表示为 $P(x_A,x_B|x_C)=P(x_A|x_C)P(x_B|x_C)$

由全局马尔可夫性得到两个推论：

局部马尔可夫独立性：给定某变量的邻接变量，则该变量条件独立于其他变量。形式化的说，令 $V$ 为图的结点集，$n(v)$ 为结点 $v$ 在图上的邻接结点， n ∗ ( v ) = n ( v ) ∪ { v } n^*(v) = n(v) \cup \{v\} n∗(v)=n(v)∪{v} ,有 $X_v\perp X_{V\setminus n^{\ast }(v)}|X_{n(v)}$

成对马尔可夫性：给定所有其他变量，两个非邻接变量条件独立。形式化的说，令图的结点集和边集分别为 V 和 E，对图中的两个结点 u 和 v，若 $<u,v>\notin E$，则 $X_u\perp X_v|X_{V\setminus <u,v>}$

马尔可夫随机场中的势函数 ${\psi }_Q(x_Q)$ 的作用是定量刻画变量集 $x_Q$ 中变量之间的相关关系，应该是非负函数，且在所偏好的变量取值上有较大的函数值。指数函数常用于定义势函数。

参考

周志华《机器学习》

https://www.cnblogs.com/pinard/p/7048333.html