全面理解条件随机场

条件随机场(CRF)是给定一组输入随机变量条件下，另一组输出随机变量的条件概率分布模型，其特点是 假设输出随机变量构成马尔可夫随机场。本篇笔记主要是关于线性链条件随机场，就是由输入序列对输出序列预测的判别模型，形式为对数线性模型，学习方法是极大似然+正则。

概率无向图模型

概率无向图模型又称为马尔可夫随机场，是一个可以由无向图表示的联合概率分布。无向图中连接两个结点的边表明了这两个结点存在某种关系，而有向图的带箭头的边就表示两个结点之间明确的因果关系。

模型定义

先定义如下三个概念（其实下面三种性质是等价的，满足一个就满足其他性质）

• 成对马尔可夫性：如果u和v是无向图中两个没有边连接的结点，结点u和v分别对应随机变量$Y_u$和$Y_v$。其他所有结点为O，对应随机变量组是$Y_O$。成对马尔可夫性就是指给定随机变量组$Y_O$的条件下，随机变量$Y_u$和$Y_v$是条件独立的，即
  $$P\left(Y_u,Y_v|Y_O\right)=P\left(Y_u|Y_O\right)P\left(Y_v|Y_O\right)$$
• 局部马尔可夫性：设v是无向图中任意一个节点，W是与v有边连接的所有结点，O是v和W以外的其他所有结点。v表示随机变量为$Y_v$，W表示随机变量组为$Y_W$，O表示随机变量组是$Y_O$。局部马尔可夫性就是指在给定随机变量组$Y_W$的条件下，随机变量$Y_v$和随机变量组$Y_O$是独立的，即
  $$P\left(Y_v,Y_O|Y_W\right)=P\left(Y_v|Y_W\right)P\left(Y_O|Y_W\right)$$
  如果$P\left(Y_O|Y_W\right)>0$，上式也可以写为
  $$P\left(Y_v|Y_W\right)=P\left(Y_v|Y_W,Y_O\right)$$
  用图表示如下
  
• 全局马尔可夫性：设结点集合A，B是在无向图中被结点集合C分开的任意结点集合。全局马尔可夫性就是指给定随机变量组$Y_C$条件下随机变量组$Y_A$和 Y B Y_B Y