CRF学习笔记

概率无向图

概率无向图，也成为了马尔科夫随机场，是一个可以有无向图表示的联合概率分布。定义如下：
设有联合概率分布$P(Y)$，由无向图$G=(V,E)$表示，在图$G$中，节点表示随机变量，边表示随机变量之间的依赖关系。如果联合概率分布$P(Y)$满足成对、局部或全局马尔科夫性，就称此联合概率分布为概率无向图模型，或马尔科夫随机场。

• 成对马尔可夫性：设$u$和$v$是无向图$G$中任意两个没有边连接的结点，结点$u$和$v$分别对应随机变量$Y_u$和$Y_v$。其他所有结点为$O$，对应的随机变量组是$Y_O$， 成对马尔可夫性是指给定随机变量组$Y_O$的条件下随机变量$Y_u$和$Y_v$ 是条件独立的，即：

$$P(Y_u,Y_v\mid Y_O)=P(Y_u\mid Y_O)P(Y_v\mid Y_O)$$

• 局部马尔可夫性：设$v\in V$是无向图$G$中任意一个结点，$W$是与$v$有边连接的所有结点，$O$是$v$，$W$以外的其他所有结点，$v$表示的随机变量是$Y_v$ ，$W$表示的随机变量组是$Y_W$ ，$O$表示的随机变量组是$Y_O$，局部马尔可夫性是指在给定随机变量组$Y_W$的条件下，随机变量$Y_v$与随机变量组$Y_O$是独立的，即：$$P(Y_v,Y_O\mid Y_W)=P(Y_v\mid Y_W)P(Y_O\mid Y_W)P$$在$P(Y_O|Y_W)>0$时，等价地，
  $$P(Y_v\mid Y_W)=P(Y_v|Y_W,Y_O)$$

• 全局马尔可夫性：设结点集合$A$,$B$是在无向图$G$中被结点集合$C$分开的任意结点集合，结点集合$A$,$B$, $C$所对应的随机变量组分别是$Y_A$，$Y_B$，$Y_C$，全局马尔可夫性是指给定随机变量组$Y_C$条件下随机变量组$Y_A和$Y_B$是条件独立的，即：
  $$P(Y_A,Y_B\mid Y_C)=P(Y_A\mid Y_C)P(Y_B\mid Y_C)$$
  ​

• Hammersley-Clifford定理，概率无向图模型的联合概率分布$P(Y)$可以表示为如下形式：

$$P(Y)=\frac{1}{Z}\prod _c{\Psi }_C(Y_C)$$

$$Z=\sum _Y\prod _C{\Psi }_C(Y_C)$$

其中，$C$是无向图的最大团，$Z$是规范化因子，是为了保证$P(Y)$构成一个概率分布。
无向图$G$中任何两个结点均有边连接的结点子集称为团，若$C$是无向图$G$的一个团，并且不能再加进任何一个$G$的结点使其成为一个更大的团，则称此$C$为最大团。

条件随机场的定义

条件随机场：设$X$与$Y$是随机变量，$P(Y\mid X)$是在给定$X$的条件下$Y$的条件概率分布。若随机变量$Y$构成一个由无向图$G=(V,E)$表示的马尔可夫随机场，即

$$P(Y_v\mid X,Y_w,w\ne v)=P(Y_v\mid X,Y_w,w\sim v)$$

对任意结点$v$成立，则称条件概率分布$P(Y|X)$为条件随机场，式中$w\sim v$表示在图$G$中与结点$v$有边连接的所有结点$w$，$w\ne v$表示结点$v$以外的所有结点，$Y_v$，$Y_u$，$Y_w$为结点$v$，$u$，$w$对应的随机变量。

• 线性链条件随机场：设$X=(X_1,X_2,\cdots ,X_n)$，$Y=(Y_1,Y_2,\cdots ,Y_n)$均为线性链表示的随机变量序列，若在给定随机变量序列$X$的条件下，随机变量序列$Y$的条件概率分布P$P(Y|X)$构成条件随机场，即;$$P(Y_i|X,Y_1,\cdots ,Y_{i-1},Y_{i+1},\cdots ,Y_n)=P(Y_i|X,Y_{i-1},Y_{i+1})$$则称$P(Y\mid X)$为线性链条件随机场，在标注问题中，$X$表示输入观测序列，$Y$表示对应的输出标记序列或状态序列。

• 条件随机场的参数化形式
  设$P(Y\mid X)$为线性链条件随机场，则在随机变量$X$取值为$x$的条件下，随机变量$Y$取值为$y$的条件概率具有如下的形式：$$P(y|x)=\frac{1}{Z(x)}\exp (\sum _{i,k}{\lambda }_k{t}_k(y_{i-1},y_i,x,i)+\sum _{i,l}{\mu }_l{s}_l(y_i,x,i))$$其中，$$Z(x)=\sum _y\exp (\sum _{i,k}{\lambda }_k{t}_k(y_{i-1},y_i,x,i)+\sum _{i,l}{\mu }_l{s}_l(y_i,x,i))$$式中，$t_k$和$s_l$是特征函数，${\lambda }_k$和${\mu }_l$是对应的权值。$Z(x)$是规范化因子，求和是在所有可能的输出序列上进行的。

2.2.3 条件随机场的简化形式
    注意到条件随机场中同一特征在各个位置都有定义，可以对同一个特征在各个位置求和，将局部特征函数转化为一个全局特征函数，这样就可以将条件随机场写成权值向量和特征向量的内积的形式，即条件随机场的简化形式。

$$P_w(y|x)=\frac{\exp (w\cdot F(y,x))}{Z_w(x)}$$

$$Z_w(x)=\sum _y\exp (w\cdot F(y,x))$$

待补充

参考

李航 统计学习方法