条件随机场原理介绍

1. 引言

    条件随机场（Conditional random field，CRF）是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型，其特点是假设输出随机变量构成马尔可夫随机场。条件随机场常用于序列标注问题，比如命名实体识别等。本文主要介绍线性链条件随机场。

2. 条件随机场原理介绍

2.1 概率无向图模型

    由于CRF要求输出随机变量构成马尔可夫随机场，因此，这一节先介绍什么是马尔可夫随机场，马尔可夫随机场也称为概率无向图模型，是一个由无向图表示的联合概率分布。

    图是由结点$v$和连接结点的边$e$组成的集合，结点和边的集合分别记作$V$和$E$，图记作$G=(V,E)$，无向图是指边没有方向的图。

    概率图模型是由图表示的概率分布，设有联合概率分布$P(Y)$，$Y\in \mathcal{Y}$是一组随机变量。由无向图$G=(V,E)$表示概率分布$P(Y)$，即在图$G$中，结点$v\in V$表示一个随机变量$Y_v$，$Y={\left(Y_v\right)}_{v\in V}$，边$e\in E$表示随机变量之间的概率依赖关系。

    在介绍概率无向图模型之前，还需要介绍三个概念，即成对马尔可夫性、局部马尔可夫性、全局马尔可夫性。

1. 成对马尔可夫性：设$u$和$v$是无向图$G$中任意两个没有边连接的结点，结点$u$和$v$分别对应随机变量$Y_u$和$Y_v$，其他所有结点为$O$，对应的随机变量组是$Y_O$，成对马尔可夫性是指给定随机变量组$Y_O$的条件下随机变量$Y_u$和$Y_v$是条件独立的，即：$$P\left(Y_u,Y_v|Y_o\right)=P\left(Y_u|Y_O\right)P\left(Y_v|Y_O\right)$$
2. 局部马尔可夫性：设$v\in V$是无向图$G$中任意一个结点，$W$是与$v$有边连接的所有结点，$O$是$v,W$以外的其他所有结点，$v$表示的随机变量是$Y_v$，$W$表示的随机变量组是$Y_W$，$O$表示的随机变量组是$Y_O$，局部马尔可夫性是指在给定随机变量组$Y_W$的条件下，随机变量$Y_v$与随机变量组$Y_O$是独立的，即：$$P\left(Y_v,Y_O|Y_W\right)=P\left(Y_v|Y_W\right)P\left(Y_O|Y_W\right)$$
   
3. 全局马尔可夫性：设结点集合$A,B$是在无向图$G$中被结点集合$C$分开的任意结点集合，结点集合$A,B,C$所对应的随机变量组分别是$Y_A,Y_B,Y_C$，全局马尔可夫性是指给定随机变量组$Y_C$条件下随机变量组$Y_A$和$Y_B$是条件独立的，即：$$P\left(Y_A,Y_B|Y_C\right)=P\left(Y_A|Y_C\right)P\left(Y_B|Y_C\right)$$
   
       概率无向图模型的定义为，设有联合概率分布$P(Y)$，由无向图$G=(V,E)$表示，在图$G$中，如果联合概率分布$P(Y)$满足成对、局部或全局马尔可夫性，则称此联合概率分布为概率无向图模型，或马尔可夫随机场。

    对于概率无向图模型，我们比较关心的是联合概率分布的计算，在实际的计算中，我们一般会将联合概率写成若干子联合概率乘积的形式，也就是将联合概率进行因子分解。

    根据Hammersley-Clifford定理，概率无向图模型的联合概率分布$P(Y)$可以表示为如下形式：
$$\begin{array}{c}P(Y)=\frac{1}{Z}{\prod }_c{\Psi }_C\left(Y_C\right)\\ Z={\sum }_Y{\prod }_C{\Psi }_C\left(Y_C\right)\end{array}$$其中，$C$是无向图的最大团，无向图$G$中任何两个结点均有边连接的结点子集称为团，若$C$是无向图$G$的一个团，并且不能再加进任何一个$G$的结点使其成为一个更大的团，则称此$C$为最大团。$Y_C$是$C$的结点对应的随机变量，${\Psi }_C\left(Y_C\right)$是$C$上定义的严格正函数，一般定义为指数函数：
Ψ C ( Y C ) = exp ⁡ { − E ( Y C ) } \Psi_{C}\left(Y_{C}\right)=\exp \left\{-E\left(Y_{C}\right)\right\} ΨC​(YC​)=exp{ −E(YC​)}而$Z$是规范化因子，是为了保证$P(Y)$构成一个概率分布。

2.2 条件随机场的定义

2.2.1 条件随机场的定义

    条件随机场：设$X$与$Y$是随机变量，$P(Y|X)$是在给定$X$的条件下$Y$的条件概率分布。若随机变量$Y$构成一个由无向图$G=(V,E)$表示的马尔可夫随机场，即$$P\left(Y_v|X,Y_w,w̸=v\right)=P\left(Y_v|X,Y_w,w\sim v\right)$$对任意结点$v$成立，则称条件概率分布$P(Y|X)$为条件随机场，式中 w