CRF学习笔记

转自：https://hit-computer.github.io/2017/06/10/CRF/

到条件随机场（CRF），就不得不提最大熵（ME），可以说这两是最常见的概率无向图模型，并且同时都在NLP很多问题中大显身手，比如，在NLP中最基础的词性标注任务中，就经常使用ME和CRF。由于ME和CRF建模思想不同，也就导致ME和CRF是从不同角度来解决词性标注问题的，ME是将这一问题看作是分类问题的（即，输入当前词的特征，然后由ME模型给出一个类别标签），而CRF则是将其视为序列标注问题（CRF会对整个输出序列进行建模）。就这一问题而言，CRF效果一般会好于ME，但相应的计算量也会大一些。其实在后续内容中，我们还会看到CRF模型的表示和ME的表示在形式上非常相似，但是需要注意的是由于两者建模思想完全不同，所以实质是有很多区别，后续内容会详细介绍。更具体的，ME和CRF的关系可以从下图中看出，

想了解最大熵模型（ME）可以参考我的另一篇博客《最大熵模型及应用简介》

本文主要参考了李航的《统计学习方法》、周志华的《机器学习》和Daphne Koller的《Probabilistic Graphical Models》这三本书。
首先，我们先简单了解一下什么是概率图模型以及什么是概率无向图模型：

 

• 
  
• 概率图模型（来自Wikipedia）：在概率论、统计学及机器学习中，概率图模型是用图论方法以表现数个独立随机变量之关系的一种建模法。其图中的任一节点为随机变量，若两节点间无边相接则意味此二变量彼此条件独立。
  两种常见的概率图模型是具有向性边的图及具无向性边的图。 若为具有向性边的图，该图显示了所有随机变量的合成概率函数的因子分区。根据图的有向性，概率图模型可以分成两大类，分别是贝叶斯网络和马尔科夫网络。这两类网络均具有因子化和条件独立的性质，但条件独立的类型和将分布因子化的方式有所不同。
  
• 概率无向图模型（来自《统计学习方法》）：设有联合概率分布P(Y)P(Y)，由无向图G=(V,E)G=(V,E)表示，在图GG中，结点表示随机变量，边表示随机变量之间的依赖关系。如果联合概率分布P(Y)P(Y)满足成对、局部或全局马尔科夫性，就称此联合概率分布为概率无向图模型，或马尔科夫随机场（MRF）。
  
   

有了上面的概念后，我们来看看什么是条件随机场（CRF）：如果给定的MRF中每个随机变量下面还有观察值，我们要确定的是给定观察集合下MRF的分布，也就是条件分布，那么这个MRF就称为CRF(Conditional Random Field)。它的条件分布形式完全类似于MRF的分布形式，只不过多了一个观察集合X=(x1,x2,…,xn)X=(x1,x2,…,xn)。
接下来的问题，就是如何参数化这个条件概率分布。根据上述定义，给定观察集合XX后，输出集合YY实质是一个MRF，所以参数化这个条件概率的方法和MRF模型的参数化方法是一样的。然而，由于图中的交互影响是无向的，所以无法使用在给定其他节点时在一个节点上表示分布的标准CPD（注：这是贝叶斯网络的参数化方法），相反，我们需要更加对称的参数化方法。同时，也正是由于这种对称性存在，使得MRF模型的参数化更加困难，也更加难于理解（不像贝叶斯网络那样直观）。
在进一步介绍MRF参数化形式之前，先介绍一种分布——吉布斯分布（Gibbs Distribution）

然后再介绍一个定理：Hammersley-Clifford 定理
Hammersley-Clifford 定理指出：马尔科夫随机场和Gibbs分布是一致的，即概率无向图模型的联合概率分布P(Y)可以表示为如下形式：

P(Y)=1Z∏cΨc(Yc)P(Y)=1Z∏cΨc(Yc)

 

Z=∑Y∏cΨc(Yc)Z=∑Y∏cΨc(Yc)

其中，CC是无向图的最大团，YcYc是CC的结点对应的随机变量，Ψc(Yc)Ψc(Yc)（势函数）是CC上定义的严格正函数，乘积是在无向图所有的最大团上进行的。
周志华的《机器学习》一书中给出了Hammersley-Clifford 定理必要性证明（即Gibbs分布是马尔科夫随机场），感兴趣的可以推导一下充分性。
既然MRF可以拆分成多个因子的乘积的形式，那么同样的CRF中的条件概率分布P(Y|X)P(Y|X)也可以由多个因子相乘来表示。更具体的，我们这里只研究线性链CRF，因为目前序列标注问题主要用的就是线性链CRF。什么是线性链CRF以及线性链CRF和其他模型的关系可以见下图，

根据上述MRF参数化的方法，我们只需要在最大团上定义势函数Ψc(Yc)Ψc(Yc)即可。同时由于线性链CRF是线性的，随意最大团实际上就是相邻两个节点，因此，线性链CRF可以表示成如下形式，

P(y│x)=1Z(x)exp(∑i,kλktk(yi−1,yi,x,i)+∑i,lμlsl(yi,x,i))P(y│x)=1Z(x)exp(∑i,kλktk(yi−1,yi,x,i)+∑i,lμlsl(yi,x,i))

其中，Z(x)=∑yexp(∑i,kλktk(yi−1,yi,x,i)+∑i,lμlsl(yi,x,i))Z(x)=∑yexp(∑i,kλktk(yi−1,yi,x,i)+∑i,lμlsl(yi,x,i))
式子中，tktk和slsl是特征函数（tktk是转移特征，slsl是状态特征），λkλk和μlμl是对应的权值。Z(x)Z(x)是规范化因子，求和是在所有可能的输出序列上进行的。需要额外说明一下，这只是线性链CRF的一种形式，相当于我们用ef(x)ef(x)来作为势函数，而f(x)f(x)用的是特征函数（特征函数同最大熵的特征函数一样，∈0,1∈0,1）的线性求和的形式，所以这算是比较simple的模型。事实上，很多CRF的升级版，比如将深度神经网络学到的特征表示替代上述式子中的特征函数（e.g，Ma et al., 2016），由于引入了神经网络，所以这里的f(x)f(x)不再是线性的了。因而，势函数的形式可以是多样的，但后续讨论中我们只对这种简单的定义形式进行研究。
上述CRF表示形式只是为了方便理解，我们将特征函数拆分成了两部分——转移特征tktk和状态特征slsl，接下来我们对这一表示形式进行简化。
为了方便起见，首先将转移特征和状态特征及其权重用统一的符号表示，设有K1K1个转移特征，K2K2个状态特征，K=K1+K2K=K1+K2，记

fk(y(i−1),yi,x,i)={tk(yi−1,yi,x,i)sl(yi,x,i)k=1,2,3,…,K1k=K1+l;l=1,2,3,…,K2fk(y(i−1),yi,x,i)={tk(yi−1,yi,x,i)k=1,2,3,…,K1sl(yi,x,i)k=K1+l;l=1,2,3,…,K2

然后，对转移与状态特征在各个位置i求和，记作

fk(y,x)=∑(i=1)nfk(y(i−1),yi,x,i)k=1,2,3,…,Kfk(y,x)=∑(i=1)nfk(y(i−1),yi,x,i)k=1,2,3,…,K

用wkwk表示特征fk(y,x)fk(y,x)的权重，即

wk={λkμlk=1,2,3,…,K1k=K1+l;l=1,2,3,…,K2wk={λkk=1,2,3,…,K1μlk=K1+l;l=1,2,3,…,K2

于是，条件随机场的计算公式可以表示为

P(y│x)=1Z(x)exp(∑k=1Kwkfk(y,x))Z(x)=∑yexp(∑k=1Kwkfk(y,x))P(y│x)=1Z(x)exp⁡(∑k=1Kwkfk(y,x))Z(x)=∑yexp⁡(∑k=1Kwkfk(y,x))

公式推导这一步，我们会发现一个很神奇的事情，将CRF的表示形式进行简化后，条件概率分布P(y|x)P(y|x)和最大熵中的条件概率分布在表示形式上非常相似，几乎就是同一个公式，只是特征函数的不一样以及Z(x)Z(x)的计算不一样。看到这里，或许我们会认为最大熵和CRF很相似，其实是不然的。也许我们会像如果将最大熵模型中的特征函数定义成和CRF的特征函数一致，是不是可以认为最大熵就变成CRF了？事实并不是这样的，以序列标注任务为例，即使最大熵模型的特征函数可以定义成和CRF一样，考虑上一个标注结果yi−1yi−1，但事实上模型在输出时依旧只关注当前的yiyi，也就是说CRF通过维特比解码得到一个全局最优解，而最大熵模型仅仅只是使得每个yiyi最优。所以，CRF和最大熵有着本质的区别，CRF是对整个序列进行建模的而最大熵只是对每个单独的标注样例进行建模的（从Z(x)Z(x)的计算也可以看成，CRF模型中Z(x)Z(x)是对整个序列所有输出情况进行求和，而最大熵仅仅只是对有多少中标注类别进行求和），因而在序列标注任务上CRF会优于最大熵模型，但计算开销也会更大一些。

 

 

学习算法（参数估计）

下面，我们来介绍一下CRF模型的学习算法。
这里我们只讨论拟牛顿法（BFGS算法）。
对于条件随机场模型，

Pw(y│x)=1(∑yexp(∑Kk=1wkfk(y,x)))exp(∑k=1Kwkfk(y,x))Pw(y│x)=1(∑yexp⁡(∑k=1Kwkfk(y,x)))exp⁡(∑k=1Kwkfk(y,x))

需要学习的优化目标函数是

minw∈Rnf(w)=−L(w)=−∑x,yP̃ (x,y)logPw(y|x))=∑xP̃ (x)log∑yexp(∑k=1Kwkfk(y,x)−∑x,yP̃ (x,y)∑k=1Kwkfk(y,x)minw∈Rnf⁡(w)=−L(w)=−∑x,yP~(x,y)logPw(y|x))=∑xP~(x)log∑yexp⁡(∑k=1Kwkfk(y,x)−∑x,yP~(x,y)∑k=1Kwkfk(y,x)

其梯度函数是

g(w)=∑x,yP̃ (x)Pw(y│x)f(x,y)−EP̃ (f)g(w)=∑x,yP~(x)Pw(y│x)f(x,y)−EP~(f)

条件随机场模型学习的BFGS算法。
输入：特征函数f1,f2,…,fnf1,f2,…,fn，经验分布P̃ (X,Y)P~(X,Y)
输出：最优参数值ŵ w^；最优模型Pŵ (y|x)Pw^(y|x)
(1) 选定初始点w(0)w(0)，取B0B0为正定对称矩阵，置k=0k=0
(2) 计算gk=g(x(k))gk=g(x(k))。若gk=0gk=0，则停止计算；否则转（3）
(3) 由Bkpk=−gkBkpk=−gk求出pkpk
(4) 一维搜索：求λkλk使得

f(x(k)+λkpk)=limλ≥0f(x(k)+λpk)f(x(k)+λkpk)=limλ≥0⁡f(x(k)+λpk)

(5) 置w(k+1)=w(k)+λkpkw(k+1)=w(k)+λkpk
(6) 计算gk+1=g(x(k+1))gk+1=g(x(k+1))，若gk+1=0gk+1=0，则停止计算；否则，按如下公式计算Bk+1Bk+1，

Bk+1=Bk+ykyTkyTkδk−BkδkδTkBkδTkBkδkBk+1=Bk+ykykTykTδk−BkδkδkTBkδkTBkδk

其中，

yk=gk+1−gk，δk=w(k+1)−w(k)yk=gk+1−gk，δk=w(k+1)−w(k)

(7) 置k=k+1k=k+1，转（3）
 

 

 

条件随机场的预测算法（维特比算法）

维特比算法是一个典型的动态规划算法，算法主要就是用于寻找最优路径，比较常用于隐马尔可夫模型的解码中。其实维特比算法的思想和dijkstra算法在思想上是差不多的，都是利用之前节点的最优值来更新当前节点，只不过维特比算法所针对的图比较特殊一些（图是有向的，时间戳titi下的所有节点和ti−1ti−1的节点是全连接的，寻找从t0t0到tntn最优路径），这就使得维特比算法实现起来比较dijkstra算法要简单一些（不需要用到最小堆）。

Fi(yi−1,yi,x)=(f1(yi−1,yi,x,i),f2(yi−1,yi,x,i),…,fK(yi−1,yi,x,i))TFi(yi−1,yi,x)=(f1(yi−1,yi,x,i),f2(yi−1,yi,x,i),…,fK(yi−1,yi,x,i))T

输入：模型特征向量F(y,x)F(y,x)和权重向量ww，观察序列x=(x1,x2,…,xn)x=(x1,x2,…,xn)
输出：最优路径y∗=(y∗1,y∗2,…,y∗n)y∗=(y1∗,y2∗,…,yn∗)
(1) 初始化

δ1(j)=w⋅F1(y0=start,y1=j,x),j=1,2,3,…,mδ1(j)=w⋅F1(y0=start,y1=j,x),j=1,2,3,…,m

(2) 递推，对i=1,2,…,ni=1,2,…,n

δi(l)Ψi(l)=max1≤j≤m{δi−1(j)+w⋅Fi(yi−1=j,yi=l,x)},l=1,2,..,m=argmax1≤j≤m{δi−1(j)+w⋅Fi(yi−1=j,yi=l,x)},l=1,2,..,mδi(l)=max1≤j≤m{δi−1(j)+w⋅Fi(yi−1=j,yi=l,x)},l=1,2,..,mΨi(l)=argmax1≤j≤m{δi−1(j)+w⋅Fi(yi−1=j,yi=l,x)},l=1,2,..,m

(3) 终止

maxy(w⋅F(y,x))y∗n=max1≤j≤mδn(j)=argmax1≤j≤mδn(j)maxy⁡(w⋅F(y,x))=max1≤j≤mδn(j)yn∗=arg⁡max1≤j≤m⁡δn(j)

(4) 返回路径

y∗i=Ψi+1(y∗i+1),i=n−1,n−2,…,1yi∗=Ψi+1(yi+1∗),i=n−1,n−2,…,1

PS：想对CRF有更深入研究的可以参考一下这份资料《An Introduction to Conditional Random Fields》