NLP-初学条件随机场(CRF)

• 说明：学习笔记，内容参考《机器学习》《数学之美》和七月在线课件

条件随机场

定义1：

条件随机场（conditional random field，简称CRF）是一种判别式无向图模型。生成式模型是直接对联合分布进行建模，而判别式模型则是对条件分布进行建模，隐马尔可夫模型就是生成式模型。——周志华《机器学习》

定义2：

条件随机场模型是Lafferty于2001年，在最大熵模型和隐马尔可夫模型的基础上，提出的一种判别式概率无向图学习模型，是一种用于标注和切分有序数据的条件概率模型。

普遍意义上的条件随机场：

模型解释：
①条件随机场保留了隐含马尔可夫模型的一些特性，比如图中的$y_1,y_2,..$等状态的序列还是一个马尔可夫链。
②在图中，顶点$x_1,y_1$代表一个个随机变量，顶点之间的弧代表他们之间的依赖关系，采用概率分布$P(x_1,y_1)$来描述。
③它的特殊性在于变量之间要遵守马尔可夫假设，即每个状态的转移概率只取决于相邻的状态，这一点，它和贝叶斯网络相同。不同之处在于贝叶斯网络是有向图，而条件随机场是无向图，

1.生成式模型和判别式模型

o,s分别代表观测序列和标记序列

生成式模型

构建o和s的联合分布p(s,o)，可以根据联合概率来生成样本，如HMM，BNs，MRF。

缺点：目标分类问题中容易产生较大的错误率

优点：实际上带的信息比判别模型丰富；能更充分利用先验知识；模型可以通过增量学习得到

判别式模型

构建o和s的条件分布p(s|o)，因为没有s的知识无法生成样本，只能判断分类，如SVM，CRF，MEMM。

缺点：不能反映训练数据本身的特性

优点：分类边界更灵活；能清晰分辨出多类或某一类与其他类之间的差异特征；适用于较多类别的识别

二者关系

由生成模型可以得到判别模型，但由判别模型得不到生成模型。

---

2.词性标注

除了上一章介绍的HMM进行词性标注外，也可以使用条件随机场进行词性标注。正如分类器所做，首先需要设定一组特征方程。

①CRF的特征函数

每个特征函数的输入包括：

• 一个句子$s$
• 词在句子中的位置$i$
• 当前词的标签$l_i$
• 前一个词的标签$l_{i-1}$

---

②从特征到概率

• 为我们每个特征函数$f_i$设置一个权重值$\lambda_j$(通过训练学习得到这些权重值），给定一个句子s，可以通过累加句中所有词加权后的特征来为s的打标结果打分：
  

  score(l|s)=∑j=1m∑i=1