nlp基础—9.条件随机场模型(CRF算法)

引言

  CRF算法与HMM算法在分词方面的应用相当于在隐变量序列输出后再进行一定的调整。CRF算法的知识体系如下：

本文首先介绍概率无向图模型，然后叙述条件随机场的定义与各种表示方法，最后介绍条件随机场的三个基本问题：概率计算问题、学习问题和预测问题。

一、概率无向图模型

1. 概率无向图模型的定义

  概率图模型是由图表示的概率分布。概率图模型分为有向图（贝叶斯网络）与无向图（马尔科夫随机场）。概率无向图模型是一个可以由无向图表示的联合概率分布。概率无向图模型的最大特点是易于因子分解。
  概率无向图模型的定义为:设有联合概率分布$P(Y)$，由无向图$G=(V,E)$表示，在图$G$中，结点表示随机变量，边表示随机变量之间的依赖关系。如果联合概率分布$P(Y)$满足成对、局部或全局马尔可夫性，就称此联合概率分布为概率无向图模型( probability undirectedgraphical model)，或马尔可夫随机场(Markov random field)。
  下面分别介绍无向图表示的随机变量之间存在的成对马尔可夫性、局部马尔可夫性和全局马尔可夫性。

成对马尔可夫性:

P ( Y u , Y v ∣ Y O ) = P ( Y u ∣ Y O ) P ( Y v ∣ Y O ) P(Y_u,Y_v|Y_O)=P(Y_u|Y_O)P(Y_v|Y_O) P(Yu​,Yv​∣YO​)=P(Y