Markov random fields——斯坦福cs 228

Markov random fields

贝叶斯网络是一类模型可以简洁的表示感兴趣的概率分布。但是我们在Bayesian Networks中发现有些概率分布是不能由其表示的。

在这种情况下，除非我们想去引入假性独立变量，我们回退一个较少的简洁的表示。但是会导致一个额外的不必要的参数在模型中，同时也让模型更加不容易学习和预测。

然而，存在另一种简洁的表示分布概率的方式，它是基于语言的无向图。Markov random fields(MRFs)能有效的表示有向图无法表示的分布。接下来我们将探索MRFs的优缺点。

ＭRFs

假设我们对人ＡBCD的喜好投票，记（Ａ,B）,(B,C),(C,D),(D,A)是朋友并且朋友之间有相似的投票偏好。很自然这个这些影响可以用无向图表示。

一种方式定义ＡＢＣＤ投票的联合分布，可以定义以下形式：

其中$ \phi$ (X,Y)是一个因子表示的朋友间应该付多少的投票：

这些因子在没有归一化的分布被称之为因式分解。最后的概率等于：
Z是用来归一化的常量，

归一化后，我们可以视$\phi(A,B)$作为推动Ｂ的投票接近Ａ的交。同理，$\phi(B,C)$作为推动Ｂ的投票接近Ｃ的交,最可能的投票将缓解他们之间的投票冲突。

形式化定义（Formal definition）

一个Markov Random Field(MRF)是通过无向图来定义一个多个变量（$x_{1},......,x_{n}$）概率分布p.概率分布ｐ的形式为：

其中,Ｃ记为Ｇ的团的集合（cliques,团满足顶点集c任何两个顶点都存在连接），Ｚ的值：是归一化作用

因此，对于给出的图Ｇ,我们的概率分布包含各种因子，可能是单个节点，或边，或三角等。我们不需要给每个团都提供因式分解。在上述的例子中，我们定义每个边为一个团。

与贝叶斯网络比较

上述明显可以得到上图，

总之，ＭRFs超过有向图模型有以下优点：

• 他们应用到一个更宽的问题，这些是没有方向依赖的变量
• 无向图可以很清晰的表示贝叶斯网络不能表示的依赖

但是也会引入少数的缺点：

• 归一化常量Ｚ要求相加指数级别的数。因此，无向图模型是更棘手的，所以需要更多的近似技术。
• 无向图或许很难转移，像贝叶斯网络很容易产生数据，而且在某些应用中很重要。

不难发现贝叶斯网络是ＭRFs的一个特例，用的一个特殊的团分解(条件概率，暗示这图是无环的)并且归一化常数为１。如果我们去除他们的方向，并且给所有的父节点增加边，然后这个CPDs就因式分解成无向的图。这个称之为moralization.

因此ＭRFs更有力量比贝叶斯网络，但是更难计算。一般贝叶斯网络度可以用，但是ＭRFs仅仅是用在有向图的非自然场景中。

在ＭRFs中的独立性（Independencies in Ｍarkov Random Fields）
如果两个变量之间的未观测变量存在路径，则ｘｙ变量是依赖的。然而，如果ｘ的邻居所有都是被观测的，那么ｘ独立于其他的变量，因为他们仅仅影响ｘ通过他的邻居。如下图：

特殊情况下，我们将观测变量设为图的切集，将图切成两半，然后这两半是相互的独立的。

形式化上，我们定义一个变量Ｘ的Ｍarkov blanket U，如果观测Ｕ我们发现ｘ独立于剩下的变量。

Conditional Random Fields

MRFs非常重要的应用就是条件概率分布p(y|x).在这种下，我们记x $\in X$,y$\in Y$是向量式的变量。给出ｘ,发现ｙ的兴趣。有结构的预测问题。

例子

从字符图像序列中识别出字符。$ｘ_{i}$是矩阵，$y_{i}\in{‘a’,’b’,….,’z’}

我们理论上可以训练一个分类器用于从$x_{i}$预测$y_{i}$.然而字母来自整个单词，预测将会应该会从不同的ｉ中得到信息。在上图中，第二个输入要不是Ｖ或者Ｕ;然而通过邻居Ｑ和E来告诉那个具有较高的置信度。

形式化定义