- 说明:学习笔记,内容参考《机器学习》《数学之美》和七月在线课件
条件随机场
定义1:
条件随机场(conditional random field,简称CRF)是一种判别式无向图模型。生成式模型是直接对联合分布进行建模,而判别式模型则是对条件分布进行建模,隐马尔可夫模型就是生成式模型。——周志华《机器学习》
定义2:
条件随机场模型是Lafferty于2001年,在最大熵模型和隐马尔可夫模型的基础上,提出的一种判别式概率无向图学习模型,是一种用于标注和切分有序数据的条件概率模型。
普遍意义上的条件随机场:
模型解释:
①条件随机场保留了隐含马尔可夫模型的一些特性,比如图中的 y1,y2,.. y 1 , y 2 , . . 等状态的序列还是一个马尔可夫链。
②在图中,顶点 x1,y1 x 1 , y 1 代表一个个随机变量,顶点之间的弧代表他们之间的依赖关系,采用概率分布 P(x1,y1) P ( x 1 , y 1 ) 来描述。
③它的特殊性在于变量之间要遵守马尔可夫假设,即每个状态的转移概率只取决于相邻的状态,这一点,它和贝叶斯网络相同。不同之处在于贝叶斯网络是有向图,而条件随机场是无向图,
1.生成式模型和判别式模型
o,s分别代表观测序列和标记序列
-
生成式模型
- 构建o和s的联合分布p(s,o),可以根据联合概率来生成样本,如HMM,BNs,MRF。
- 缺点:目标分类问题中容易产生较大的错误率
- 优点:实际上带的信息比判别模型丰富;能更充分利用先验知识;模型可以通过增量学习得到 判别式模型
- 构建o和s的条件分布p(s|o),因为没有s的知识无法生成样本,只能判断分类,如SVM,CRF,MEMM。
- 缺点:不能反映训练数据本身的特性
- 优点:分类边界更灵活;能清晰分辨出多类或某一类与其他类之间的差异特征;适用于较多类别的识别 二者关系
- 由生成模型可以得到判别模型,但由判别模型得不到生成模型。
2.词性标注
除了上一章介绍的HMM进行词性标注外,也可以使用条件随机场进行词性标注。正如分类器所做,首先需要设定一组特征方程。
①CRF的特征函数
每个特征函数的输入包括:
- 一个句子 s s
- 词在句子中的位置
- 当前词的标签 li l i
- 前一个词的标签 li−1 l i − 1
②从特征到概率
为我们每个特征函数 fi f i 设置一个权重值 λj λ j (通过训练学习得到这些权重值),给定一个句子s,可以通过累加句中所有词加权后的特征来为s的打标结果打分:
score(l|s)=∑j=1m∑i=1