CRF 理解

CRF概念

CRF(conditional random field) 条件随机场模型是由Lafferty在2001年提出的一种典型的判别式模型. 它在观测序列的基础上对目标序列进行建模.重点解决 序列化标注的问题,条件随机场的模型既具有判别式模型的优点,又具有产生式模型考虑到上下文标记时间的转移概率, 以序列化形式进行全局参数优化和解码的特点,解决了其他判别式模型(如最大熵马尔可夫模型)难以避免的标记偏置问题.

条件随机场理论(CRFs)可以用于序列标记,数据分割,组快分析等自然语言处理任务中. 在中文分词,中文人名识别,歧义消解等汉语自然语言处理任务中都有应用,表现很好.

CRF++系统简介:优缺点

 
该模型是在给定需要标记的观察序列的条件下,计算整个标记的联合概率,而不是在给定当前状态下,定义一个状态的分布.标记序列为条件属性,可以让CRF很好地拟合现实数据,而在这些数据中,标记序列的条件概率依赖于观测序列中非独立的,相互作用的特征.并通过赋予特征以不同权值来表示特征的重要程度.

隐马尔可夫模型存在两个假设:输出独立性假设和马尔可夫性假设.一个最大的缺点就是由于其输出独立性假设,他要求序列数据严格相互独立才能保证推到的正确性,导致其不能考虑山下文特征,限制了特征的选择.
最大熵隐马模型则解决了这一问题,可以任意地选择特征,但由于其在每一节点都要进行归一化,所以只能找到局部的最优值,同时也带来了标记偏见的问题(label bias),即凡是训练语料中未出现的情况全部忽略掉.

条件随机场则很好地解决了这一问题,它使用了一种概率图模型,具有表达长距离依赖性和交叠性特征的能力,能较好地解决标注偏置的问题.它并不再每一个节点进行归一化,儿是所有特征进行全局归一化,因此可以求得全局的最优值.

目前条件随机场的训练和解码的开源工具还只支持链式的序列,复杂的尚不支持,而且训练时间很长,但效果好可以.

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值