CRF(Conditional Random Field) 条件随机场是近几年自然语言处理领域常用的算法之一。
概念:
CRF(Conditional Random Field)条件随机场模型是一种典型的判别式模型,它在观测序列的基础上对目标序列进行建模,重点解决“序列化标注问题”。言下之意,就是给定的输出识别序列Y和观测序列X,通过定义条件概率P(Y|X)来描述模型。
优缺点:
优点:条件随机场模型计算的是全局参数最优化的问题;考虑到的上下文标记间的联系。
缺点:收敛的速度慢
应用场景:
可以用于“句法分析”、“序列标记”、“数据分割”、“组块分析”等自然语言处理任务。在“中文分词”、“中文人名识别”、“歧义消除”等任务中表现很好。
CRF流程:
首先,需要将分词语料的标注符号转化为用于命名实体序列标注的标记。
其次,确定特征模板,一般采用当前位置的前后n个位置的字及其标记表示,即以当前位置的前后n个位置范围内的子串及其标记作为观察窗口(一般n取2~3)
然后,得到相应的特征函数
最后,剩下的工作就是训练CRF模型的参数λ和u
当前的实现工具:
CRF++、MALLET、GRMM、CRFsuite、FACTORIE