An Introduction to Conditional Random Fields[条件随机场介绍]

An Introduction to Conditional Random Fields

By Charles Suttonand Andrew McCallum

文献网址：http://homepages.inf.ed.ac.uk/csutton/publications/crftut-fnt.pdf

[译]条件随机场介绍

By wttttt

2.Modeling建模

本节我们从建模的角度描述CRFs，解释一个条件随机场是如何将结构化输出的分布表示成一个高维输入向量的函数的。CRFs可以被理解成logistic回归分类器到任意图形结构的一种扩展，或者理解成结构化数据的生成模型的判别模拟，比如说隐马尔科夫模型(生成模型)。

我们首先对图模型做一个简要的介绍(2.1节)，接着描述NLP(自然语言处理)中的生成和判别模型(2.2节)。然后我们将呈现条件随机场的正式定义，既包括常用的线性链案例(2.3节)，也包括通用图结构(2.4节)。由于一个条件随机场的精度强烈地依赖于所使用的特征，因此我们也描述一些用于工程特征的常用技巧(2.5节)。最后，我们介绍CRFs的两个应用示例(2.6节)，以及关于CRFs的典型应用领域的一个更广阔的调研。

2.1图形建模

图模型是用于多变量概率分布的一个有力的表示和推断框架。它已经在多个随机建模领域被证明是有效的，包括编程理论，计算机视觉，知识表示，贝叶斯统计以及自然语言处理。

多变量分布的表示是昂贵的。举例来说，n个二进制变量的联合概率表需要O(2^n)级别的浮点数存储。图形建模观点的视角是多变量的分布常常可以被表示为局部函数的乘积，每个局部函数取决于一个更小的变量子集。这种因式分解结果是与变量之间确定的条件依赖关系有了紧密的连接—两种类型的信息都容易地被概括成一个图。确实，这种因式分解之间的关系，条件依赖，以及图结构几乎构成了大部分的图形建模框架：条件依赖的视角对模型设计是最有用的，因式分解的视角对推论算法设计是最有用的。

本节接下来的部分，我们将从因式分解和条件依赖的角度介绍图模型，主要关注基于无向图模型。一个更细节的现代图形建模方法以及精确地推论可以参考Koller和Friedman的著作。

2.1.1无向图

我们考虑随机变量集合Y的概率分布。我们通过整数s∈1,2,…,|Y| 索引这些变量。每个Ys∈Y来自集合Y，Ys可以是连续或离散的，尽管我们在这次研究中仅考虑离散的情况。Y的一个随机赋值表示为向量y。给定一个变量Ys∈Y，符号ys表示y内分配给Ys的值。记号1{y=y’}表示y的指示函数，当y=y’时取值为1，否则取值0。我们还需要边缘化符号。对于一个给定的变量赋值ys，我们使用和∑y\ys来表示所有可能的赋值y的和，其中y对于变量Ys的值是ys。

假设我们相信一个概率分布p可以被表示成ψa(ya)形式的因子的乘积，其中a是1到A范围的整数索引。每一个因子ψa仅取决于变量子集Ya⊆Y。ψa(ya)是一个非负标量，它可以被认为是ya之间的兼容度量值。有高兼容性的值之间将有更高的概率。因式分解可以允许我们更有效地表示p，因为集合Ya可能比全变量集Y小很多。

一个无向图模型是概率分布的家庭，根据每个给定的因子集合进行因式分解。正式地，给定一个Y的子集集合{Ya}(a=1 to A)，一个无向图模型是所有分布的集合，它可以被写作

对于任意选择的因子F = {Ψa}，其对所有的ya有Ψa(ya)≥0。（因子也被称为局部函数或兼容性函数。）我们将使用术语随机场来通过一个无向图模型来定义的一个特别的分布。

常量Z是归一化因子，为了保证分布p的和为1.它被定义为

Z被认为是因子集合的函数，它也被称为配分函数(译者注：partition function)。注意到(2.2)的求和式是基于指数级别的y的可能赋值。由于这个原因，Z的计算通常是棘手的，但是很多现有的工作是关于如何估计它的(参见第4节)。

术语“图模型”的由来是因式分解(2.1)可以利用图来简洁地表示。一个非常自然地形式是通过因子图(译者注：factor graphs)。一个因子图是一个双向图G=(V, F, E)，图中一个点集V={1,2,…,|Y| }指示模型的随机变量，图中其它点集F={1,2,…A}指示因子。图的语义学是，如果一个变量点Ys(s∈V)与一个因子点Ψa(a∈F)相连，那么Ys是Ψa的一个参数(译者注：argument)。因此一个因子图直接地描述了一个分布p是如何分解成局部函数的乘积的。

我们正式地定义这个概念--一个因子图是否“描述”了一个给定的分布。用N(a)表示索引为a的因子的邻居。那么：

定义2.1 如果存在因子图G的一个局部函数集合Ψa以至于p可以写作如下形式，那么