标注偏置问题(Label Bias Problem)和HMM、MEMM、CRF模型比较

原创 2012年07月26日 10:08:29

路径1-1-1-1的概率:0.4*0.45*0.5=0.09

路径2-2-2-2的概率:0.018

路径1-2-1-2:0.06

路径1-1-2-2:0.066

由此可得最优路径为1-1-1-1


而实际上,在上图中,
状态1偏向于转移到状态2,而状态2总倾向于停留在状态2,这就是所谓的标注偏置问题,由于分支数不同,概率的分布不均衡,导致状态的转移存在不公平的情况。

PS:标注偏置问题存在于最大熵马尔可夫模型(MEMM)中,虽然MEMM解决了HMM输出独立性假设的问题,但是只解决了观察值独立的问题,状态之间的假设则是标注偏置问题产生的根源,CRF则解决了标注偏置问题,是HMM模型的进一步优化。

 

 

 

 


HMM模型中存在两个假设:一是输出观察值之间严格独立,二是状态的转移过程中当前状态只与前一状态有关(一阶马尔可夫模型)。


MEMM模型克服了观察值之间严格独立产生的问题,但是由于状态之间的假设理论,使得该模型存在标注偏置问题。


CRF模型解决了标注偏置问题,去除了HMM中两个不合理的假设,当然,模型相应得也变复杂了。

 

相关文章推荐

标注偏置问题(Label Bias Problem)和HMM、MEMM、CRF模型比较

出处:http://blog.csdn.net/zhoubl668/article/details/7787690 路径1-1-1-1的概率:0.4*0.45*0.5=0.09 ...
  • lskyne
  • lskyne
  • 2013年03月13日 16:55
  • 6468

标记偏置 隐马尔科夫 最大熵马尔科夫 HMM MEMM

隐马尔科夫模型(HMM): 图1. 隐马尔科夫模型 隐马尔科夫模型的缺点:         1、HMM只依赖于每一个状态和它对应的观察对象:               序列标注问题不仅和...
  • x_yz_
  • x_yz_
  • 2013年04月24日 13:53
  • 2463

关于CRF序列标注的一些理解

关于特征函数个数问题 crf的模板由U模板和B模板组成,故其总的特征函数个数 = U模板对应的特征函数个数 + B模板对应的特征函数个数 U模板对应的特征函数个数为:L*Nu,其中L为标签个数,Nu...

推荐系统:基于内容的推荐

http://blog.csdn.net/pipisorry/article/details/49205589(个性化)推荐系统构建三大方法:基于内容的推荐content-based,协同过滤coll...

主题模型TopicModel:LSA(隐性语义分析)模型和其实现的早期方法SVD

LSA and SVD LSA(隐性语义分析)的目的是要从文本中发现隐含的语义维度-即“Topic”或者“Concept”。我们知道,在文档的空间向量模型(VSM)中,文档被表示成由特征词出现概率组...

HMM,MEMM,CRF模型的比较(转)

这三个模型都可以用来做序列标注模型。但是其各自有自身的特点,HMM模型是对转移概率和表现概率直接建模,统计共现概率。而MEMM模型是对转移 概率和表现概率建立联合概率,统计时统计的是条件概率。MEMM...

偏置-方差分解(Bias-Variance Decomposition)

本文地址为:http://www.cnblogs.com/kemaswill/,作者联系方式为kemaswill@163.com,转载请注明出处。   机器学习的目标是学得一个泛化能力比较好的模...

误差error,偏置bias,方差variance的见解

不知怎么的,想到了这三个名词之间的关系,特地去查了一下,貌似学问还挺大。 以下纯属查阅资料,自己的理解,如有错误,谢谢下方评论纠正 ^_^ 主要参考资料:知乎上关于这三个名词的讨论,以及周志华的《机器...

贴一个关于 label bias problem 的解释

我看 John Lafferty 的那篇  CRF 论文里谈到了 label bias problem,不过解释得并不是非常的清晰, 我当时看的不太明白, 在网络上查一下, 发现一个 mail-lis...
  • sptoor
  • sptoor
  • 2012年10月27日 10:14
  • 1437

label bias problem

今天重读CRF的开山论文,发现对于label bias problem的问题还是不明白,于是就找了一个人转载的解释,在此翻译下。 The label bias problem arises beca...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:标注偏置问题(Label Bias Problem)和HMM、MEMM、CRF模型比较
举报原因:
原因补充:

(最多只允许输入30个字)