25、条件随机场(CRF)上

条件随机场(CRF)

条件随机场 (conditional random field, CRF) 是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型，其特点是假设输出随机变量构成马尔可夫随机场。

1 概率无向图模型

概率无向图模型 (probabilistic undirected graphical model) ，又称为马尔可夫随机场 (Markov random field) ，是一个可以由无向图表示的联合概率分布。

图是由结点及连接结点的编组成的集合。 结点记作$v$，结点集合记作$V$；边记作$e$，边的集合记作$E$；图记作$G=(V,E)$。

概率图模型是由图表示的概率分布。设由联合分布$P(Y)$，$Y\in y$ 是⼀组随机变量。 由⽆向图$G=(V,E)$表示概率分布$P(Y)$，即在图$G$中，结点$v\in V$表示⼀个随机变量$Y_v$，$Y=(Y_v{)}_{v\in V}$；边$e\in E$表示随机变量之间的概率依赖关系。

给定一个联合概率分布 $P(Y)$ 和表示它的无向图 $G$。首先定义无向图表示的随机变量之间存在的成对马尔可夫性 (pairwise Markov property) 、局部马尔可夫性(local Markov property) 和全局马尔可夫性 (global Markov property) 。

成对⻢尔可夫性：其中，设$u$和$v$是⽆向图$G$中任意两个没有边连接的结点，分别对应随机变量$Y_u$和$Y_v$；其它所有结点为$O$，对应的随机变量组是$Y_O$。 给定随机变量组$Y_O$的条件下随机变量$Y_u$和$Y_v$是条件独⽴的，即：
$$P(Y_u,Y_v|Y_O)=P(Y_u|Y_O)P(Y_v|Y_O)$$
局部⻢尔可夫性：设$v\in V$是⽆向图$G$中任意⼀个结点，对应的随机变量是$Y_v$。$W$是与$v$有边连接的所有的结点，对应的随机变量组是$Y_W$。$O$是$v,W$以外的其它所有结点，对应的随机变量组是$Y_O$。给定随机变量组$Y_W$的条件下随机变量$Y_v$和$Y_O$是独⽴的， 即：
$$P(Y_v,Y_O|Y_W)=P(Y_v|Y_W)P(Y_O|Y_W)$$

全局⻢尔可夫性：设结点集合$A,B$是在⽆向图$G$中被结点集合$C$分开的任意结点集合，对应的随机变量组是$Y_A,Y_B,Y_C$。 即，给定随机变量组$Y_C$的条件下随机变量$Y_A$和$Y_B$是条件独⽴的。
$$P(Y_A,Y_B|Y_C)=P(Y_A|Y_C)P(Y_B|Y_C)$$

概率⽆向图模型（⻢尔可夫随机场）：设有联合概率分布$P(Y)$，由⽆向图$G=(V,E)$表示，在图$G$中，结点表示随机变量，边表示随机变量之间的依赖关系。如果联合概率分布$P(Y)$满⾜成对、局部或全局⻢尔可夫性，就称此联合概率分布为概率⽆向图模型，或⻢尔可夫随机场。

团：⽆向图$G$中任意两个结点均有边连接的结点⼦集。

最⼤团：⽆向图$G$中的⼀个团，并且不能再加进任何⼀个结点使其成为⼀个更⼤的团。

概率无向图模型的联合概率分布表示为其最大团上的随机变量的函数的乘积形式的操作，称为概率无向图模型的因子分解。

概率⽆向图模型的联合概率分布$P(Y)$表示为如下形式：
P ( Y ) = 1 Z ∏ C Ψ C ( Y C ) Z = ∑ Y ∏ C Ψ C ( Y C ) Ψ C ( Y C ) = exp ⁡ { − E ( Y C ) } P(Y) =\frac{1}{Z} \prod_C \Psi _C (Y_C)\\ Z = \sum_Y \prod_C \Psi _C (Y_C)\\ \Psi _C (Y_C) = \exp \{- E(Y_C)\}\\ P(Y)=Z1​C∏​ΨC​(YC​)Z=Y∑​C∏​ΨC​(YC​)ΨC​(YC​)=exp{−E(YC​)}
其中，$C$是⽆向图的最⼤团，$Y_C$是$C$的结点对应的随机变量；势函数${\Psi }_C(Y_C)$ 是严格正的，通常定义为指数函数；$Z$是规范化因⼦，保证$P(Y)$构成⼀个概率分布。乘积是在⽆向图所有的最⼤团上进⾏的。

2 条件随机场的定义与形式

2.1 条件随机场的定义

条件随机场：设$X$与$Y$是随机变量，$P(Y|X)$是在给定$X$的条件下$Y$的条件概率分布，若随机变量$Y$构成⼀个由⽆向图$G=(V,E)$表示的⻢尔可夫随机场，即 $P(Y_v|X,Y_w,w\ne v)=P(Y_v|X,Y_w,w\sim v)$ 对任意结点$v$成⽴，则称条件概率分布$P(Y|X)$为条件随机场。其中，$w\sim v$表示在图$G=(V,E)$中与结点$v$有边连接的所有结点$w$，$w\ne v$表示结点$v$以外的所有结点，$Y_v$与$Y_w$为结点$v$与$w$对应的随机变量。

在定义中并没有要求 $X$ 和 $Y$ 具有相同的结构。现实中， 一般假设 $X$ 和 $Y$ 有相同的图结构。本文主要考虑无向图为如下图所示的线性链的情况，即 G = ( V = { 1 , 2 , . . . , n } , E = { i , i + 1 } ) , i = 1 , 2 , . . . , n − 1 G = (V=\{1,2,...,n\}, E=\{i,i+1\}),i=1,2,...,n-1 G=(V={1,2,...,n},E={i,i+1}),i=1,2,...,n−1。在此情况下 ， $X=(X_1,X_2,\dots ,X_n)$ ， $Y=(Y_1,Y_2,\dots ,Y_n)$ ，最大团是相邻两个结点的集合。

线性链条件随机场：设 $X=(X_1,X_2,\dots ,X_n)$ ， $Y=(Y_1,Y_2,\dots ,Y_n)$ 均为线性链表示的随机变量序列，若在给定随机变量序列$X$的条件下，随机变量序列$Y$的条件概率分布$P(Y|X)$构成条件随机场，即满⾜⻢尔可夫性 $P(Y_i|X,Y_1,\cdots ,Y_{i-1},Y_{i+1},\cdots ,Y_n)=P(Y_i|X,Y_{i-1},Y_{i+1},i=1,2,...,n(i=1和n时只考虑单边)$ 称条件概率分布$P(Y|X)$为线性链条件随机场。在标注问题中，$X$ 表示输入观测序列，$Y$ 表示对应的输出标记序列或状态序列。

2.2 条件随机场的参数化形式

线性链条件随机场的参数化形式：设$P(Y|X)$为线性链条件随机场，则在随机变量$X$取值为$x$的条件下，随机变量$Y$取值为$y$的条件概率具有如下形式：
$$\begin{gathered} P(y|x)=\frac{1}{Z(x)}\exp \left(\sum _{i,k}{\lambda }_k{t}_k(y_{i-1},y_i,x,i)+\sum _{i,l}{\mu }_l{s}_l(y_i,x,i)\right) \\ Z(x)=\sum _y\exp \left(\sum _{i,k}{\lambda }_k{t}_k(y_{i-1},y_i,x,i)+\sum _{i,l}{\mu }_l{s}_l(y_i,x,i)\right) \end{gathered}$$
式中， $t_k$是定义在边上特征函数，称为转移特征，依赖于当前和前⼀个位置；$s_l$是定义在结点上的特征函数，称为状态特征， 依赖于当前位置。特征函数$t_k$和$s_l$取值为1或0。${\lambda }_k$和${\mu }_l$是对应的权值，$Z(x)$是规范化因⼦，求和是在所有可能的输出序列上进⾏的。

2.3 条件随机场的简化化形式

条件随机场还可以由简化形式表示 。 注意到条件随机场参数化形式中同一特征在各个位置都有定义，可以对同一个特征在各个位置求和，将局部特征函数转化为一个全局特征函数，这样就可以将条件随机场写成权值向量和特征向量的内积形式，即条件随机场的简化形式。

设有$K_1$个转移特征，$K_2$个状态特征，$K=K_1+K_2$，记
$$f_k(y_{i-1},y_i,x,i)=\{\begin{array}{rl}& t_k(y_{i-1},y_i,x,i),k=1,2,\cdots ,K_1\\ & s_l(y_i,x,i),k=K_1+l;l=1,2,\cdots ,K_2\end{array}$$
然后，转移与状态特征在各个位置$i$求和，记作
$$f_k(y,x)=\sum _{i=1}^n{f}_k(y_{i-1},y_i,x,i),k=1,2,\cdots ,K$$
⽤$w_k$表示特征$f_k(y,x)$的权值，即
$$w_k=\{\begin{array}{rl}& {\lambda }_k,k=1,2,\cdots ,K_1\\ & {\mu }_l,k=K_1+l;l=1,2,\cdots ,K_2\end{array}$$
则条件随机场可表示为
$$\begin{gathered} P(y|x)=\frac{1}{Z(x)}\exp \sum _{k=1}^K{w}_k{f}_k(y,x) \\ Z(x)=\sum _y\exp \sum _{k=1}^K{w}_k{f}_k(y,x) \end{gathered}$$
若以$w$表示权值向量，即 $w=(w_1,w_2,\cdots ,w_K{)}^T$ ，以$F(y,x)$表示权局特征向量，即 $F(y,x)=(f_1(y,x),f_2(y,x),\cdots ,f_K(y,x))T$ 则条件随机场可写成向量$w$与$F(y,x)$的内积的形式：
$$\begin{gathered} P_w(y|x)=\frac{\exp (w\cdot F(y,x))}{Z_w(x)} \\ {Z}_w(x)=\sum _y\exp (w\cdot F(y,x)) \end{gathered}$$

2.4 条件随机场的矩阵形式

假设$P_w(y|x)$是线性链条件随机场，表示对给定观测序列$x$，相应的标记序列$y$的条件概率。对每个标记序列引进特殊的起点标记$y_0=start$表示开始状态，特殊的终点标记$y_{n+1}=stop$ 表示终⽌状态。

对观测序列$x$的每⼀个位置$i=1,2,\cdots ,n+1$，由于$y_{i-1}$和$y_i$在 $m$ 个标记中取值，定义⼀个$m$阶矩阵：
$$\begin{gathered} M_i(x)=[M_i(y_{i-1},y_i|x){]}_{m\times m} \\ {M}_i(y_{i-1},y_i|x)=\exp (W_i(y_{i-1},y_i,|x)) \\ {W}_i(y_{i-1},y_i,|x)=\sum _{i=1}^K{w}_k{f}_k(y_{i-1},y_i,x,i) \end{gathered}$$
这里$w_k$和$f_k$分别在上面给出， $y_{i-1}$ 和 $y_i$ 是标记随机变量$Y_{i-1}$和$Y_i$的取值。这样，给定观测序列 $x$ ， 相应标记序列 $y$ 的非规范化概率可以通过该序列$n+1$个矩阵的适当元素的乘积 ${\prod }_{i=1}^{n+1}{M}_i(y_{i-1},y_i|x)$ 表示。于是，条件概率 $P_w(y|x)$ 是
$$P_w(y|x)=\frac{1}{Z_w(x)}\prod _{i=1}^{n+1}{M}_i(y_{i-1},y_i|x)$$
其中，$Z_w(x)$为规范化因⼦，是$n+1$个矩阵的乘积的元素即
$$Z_w(x)=[M_1(x)[M_2(x)...[M_{n+1}(x){]}_{start,stop]}$$
注意， $y_0=start$ 与 $y_{n+1}=stop$ 表示开始状态与终止状态，规范化因⼦$Z_w(x)$是以start为起点stop为终点通过状态的所有路径$y_1{y}_2\cdots y_n$的⾮规范化概率${\prod }_{i=1}^{n+1}{M}_i(y_{i-1},y_i|x)$ 之和。