条件随机场（CRF）总结

简介

条件随机场（CRF）是给定一组输入随机变量的条件下另一组输出随机变量的条件概率分布。

1.概念引入

• 概率图模型
  概率图模型是由图表示的概率分布。无向图G=(V,E)表示概率分布P(Y)，节点v∈V表示一个随机变量$Y_V$；边e∈E表示随机变量之间的概率依存关系。

• 成对马尔科夫性
  u和v是G中任意两个没有边连接的节点，其他所有节点为O。成对马尔科夫性是指给定随机变量组$Y_O$的条件下随机变量$Y_u$和$Y_v$是条件独立的，即
  

  $$P(Y_u,Y_v|Y_O)=P(Y_u|Y_O)P(Y_v|Y_O)$$

• 局部马尔科夫性
  v是G中任意一点，W是与v有边连接的所有节点，O是v,W以外的其他所有节点。局部马尔科夫性是指给定$Y_W$的条件下$Y_v$与$Y_O$是独立的，即
  

  $$P(Y_v,Y_O|Y_W)=P(Y_v|Y_W)P(Y_O|Y_W)$$

• 全局马尔科夫性
  A,B是G中被C分开的任意节点集合。全局马尔科夫性是指给定$Y_C$条件下$Y_A$和$Y_B$是条件独立的，即
  

  $$P(Y_A,Y_B|Y_C)=P(Y_A|Y_C)P(Y_B|Y_C)$$

• 概率无向图模型
  如果联合概率P(Y)满足成对、局部或者全局马尔科夫性，就称该联合概率分布为无向图模型，或者马尔科夫随机场。最大特点：易于因子分解。

• 团与最大团
  无向图G中任何两个节点都有边连接的节点子集称为团（clique）。若不能再加进一个节点使团更大，称该团为最大团。

• 无向图模型的因子分解（factorization）
  C为G上最大团，P(Y)可以写作图中所有最大团C上的函数$Ψ_C(Y_C)$的乘积形式，即
  

  $$P(Y)=\frac{1}{Z}\prod_c{Ψ_C(Y_C)}$$
  其中，Z是归一化因子，$Z=\sum_r{\prod_c{Ψ_C(Y_C)}}$。$Ψ_C(Y_C)$称为势函数，通常定义为指数函数：
  
  ΨC(YC)=exp{ −E