CRF

(一)基本定义

1. 条件随机场（CRF）是给定一组输入随机变量条件下，求另一组输出随机变量的条件概率分布的模型；其特点是假设输出随机变量构成马尔科夫随机场。

PS:在条件概率模型P(Y|X)中，Y是输出变量，表示标记序列，X是输入变量，表示需要标注的观测序列，标记序列在HMM中称为状态序列。

设X和Y是随机变量，P(Y|X)是在给定X的条件下的Y的条件分布，若随机变量Y构成一个无向图G=(V,E)表示的马尔科夫场，即

          

 对任意的节点v成立，则称条件概率分布P(Y|X)为条件随机场。w~v其表示在图G=(V,E)中，节点v有边链接的所有节点,即P(Yv)只与V有边链接的点的概率分布有关。

2. 概率无向图模型（probabilistic undirected graphical model）又称为马尔科夫随机场，是一个可以由无向图表示的联合概率分布。图上的每一个节点的分布只和其有边相连的节点有关系。

3. 无向图G中任何两个节点均有边链接的节点自己称为团（clique）。若C是无向图的一个团，并且不能再加入任何一个G的节点使其成为一个更大的团，则称此C为最大团（完全图）。

4.因子分解： 将概率无向图模型的联合概率分布表示为其上最大团的随机变量的函数的乘机的形式。

5.线性链

    1)定义：

      

即P(Yi)只与给定X情况下的Yi-1和Yi+1相关。

    2)线性链CRF的参数化形式

    设P(Y|X)为线性链条件随机场，则在随机变量X取值为x的条件下，随机变量Y取值为y的条件概率具有如下形式：

   

其中，Z(x)是规范化因子

   

 

    PS：tk和sl是特征函数，tk是定义在边上的特征函数，称为转移特征，依赖于当前和前一位置。sl是定义在节点上的特征函数，称为状态特征，依赖于当前位置。tk和sl取值为1或0；当满足特征条件时取1，否则取0.条件随机场完全有特征函数tk,sl和对应的权值决定。

    线性链条件随机场也是对数线性模型。

    

(二)几个问题

1.概率计算

给定模型，输入序列x和输出序列y,计算条件概率P(y|x),像HMM一样定义前向后向概率，使用前向-后向递归计算概率值。

2.学习

给定输入序列和输出序列，通过极大化似然函数来估计模型参数。

   1):定义Loss为指数形式的对数似然

   

   2): 迭代尺度法求参数：不断优化对数似然函数改变量的下界，达到极大化对数似然函数的目的。

还可以使用 梯度下降法，拟牛顿法求解。

3.预测

给定模型和输入序列(观测序列)x，求条件概率最大的输出序列(标记序列)y.即对观测序列进行标记。使用 维特比算法进行标记。

参考：

http://x-algo.cn/index.php/2016/02/15/conditional-random-field-crf-theory-and-implementation/

李航《机器学习方法》