条件随机场（CRF）

条件随机场（CRF）

CRF(Conditional Random Field) 条件随机场是近几年自然语言处理领域常用的算法之一，常用于句法分析、命名实体识别、词性标注等。在我看来，CRF就像一个反向的隐马尔可夫模型(HMM)，两者都是用了马尔科夫链作为隐含变量的概率转移模型，只不过HMM使用隐含变量生成可观测状态，其生成概率有标注集统计得到，是一个生成模型；而CRF反过来通过可观测状态判别隐含变量，其概率亦通过标注集统计得来，是一个判别模型。由于两者模型主干相同，其能够应用的领域往往是重叠的，但在命名实体、句法分析等领域CRF更胜一筹。

在命名实体的识别上，CRF通过分析已知的输入序列，预测最可能的输出序列。

已知的输入序列就是想要分析的句子，输出序列就是这个句子里各部分的标记。 

例如一句话里：这台笔记本的性能不错，就是散热不太好。

首先会对它进行分词及句子成分分析（POS），标注上词性， 变成： 这/ 台/ 笔记本/ 的/ 性能/ 不错/ 就是/ 散热/ 不/ 太好

接着将其放入按照某特征集训练好的CRF中去，这个特征集可以有多种形式，例如只是 句法特征， 或者 句法加谓词特征等

那么经过CRF识别之后，应该要能标注出这句话描述的主体是： 笔记本， 描述的属性有 性能，还有散热，描述的观点分别是 不错 、不太好。

CRF和HMM都假设词性标签是满足马尔科夫性的，即当前词性仅和上一个词性有概率转移关系而与其它位置的词性无关，比如形容词后面跟形容词的概率是0.5，跟修饰性“的”的概率为0.5，跟动词的概率为0。

CRF通过发掘词语本身的特征（如长度，大小写，匹配特定词表等，也可以包括词语本身），把每个词语转化成为一个一维特征向量(vector)，然后对于每个特征计算特征到词性的条件概率，这样每个词语对候选词性的条件概率即为所有特征条件概率的加和。比如我们假设特征向量只有两个，且P ( ”词语长度>3" --> 名词词性）的概率为0.9， P("词语位于句子末尾“ --> 名词词性）概率为0.4，且一个词恰好满足这两个特征，则其为名词的条件概率为 (0.9 + 0.4) / 2 = 0.65. 这样，CRF根据这个条件转移数值再结合词性的马尔科夫特性，就可以使用与HMM类似的方法寻找最优的词性标注序列了。

CRF优点：

（1）CRF没有HMM那样严格的独立性假设条件，因而可以容纳任意的上下文信息。特征设计灵活（与ME一样） ————与HMM比较

（2）同时，由于CRF计算全局最优输出节点的条件概率，它还克服了最大熵马尔可夫模型标记偏置（Label-bias）的缺点。 ­­————与MEMM比较

（3）CRF是在给定需要标记的观察序列的条件下，计算整个标记序列的联合概率分布，而不是在给定当前状态条件下，定义下一个状态的状态分布。