标注偏置问题(Label Bias Problem)和HMM、MEMM、CRF模型比较

原创 2012年07月26日 10:08:29

路径1-1-1-1的概率:0.4*0.45*0.5=0.09

路径2-2-2-2的概率:0.018

路径1-2-1-2:0.06

路径1-1-2-2:0.066

由此可得最优路径为1-1-1-1


而实际上,在上图中,
状态1偏向于转移到状态2,而状态2总倾向于停留在状态2,这就是所谓的标注偏置问题,由于分支数不同,概率的分布不均衡,导致状态的转移存在不公平的情况。

PS:标注偏置问题存在于最大熵马尔可夫模型(MEMM)中,虽然MEMM解决了HMM输出独立性假设的问题,但是只解决了观察值独立的问题,状态之间的假设则是标注偏置问题产生的根源,CRF则解决了标注偏置问题,是HMM模型的进一步优化。

 

 

 

 


HMM模型中存在两个假设:一是输出观察值之间严格独立,二是状态的转移过程中当前状态只与前一状态有关(一阶马尔可夫模型)。


MEMM模型克服了观察值之间严格独立产生的问题,但是由于状态之间的假设理论,使得该模型存在标注偏置问题。


CRF模型解决了标注偏置问题,去除了HMM中两个不合理的假设,当然,模型相应得也变复杂了。

 

HMM MEMM CRF 区别 联系

声明:本文主要是基于网上的材料做了文字编辑,原创部分甚少。参考资料见最后。 隐马尔可夫模型(Hidden Markov Model,HMM),最大熵马尔可夫模型(Maximum Entropy ...
  • xum2008
  • xum2008
  • 2015年07月20日 15:45
  • 1467

条件随机场CRF HMM,MEMM的比较

CRF,HMM(隐马模型),MEMM(最大熵隐马模型)都常用来做序列标注; HMM一个最大的缺点就是由于其输出独立性假设,导致其不能考虑上下文的特征,限制了特征的选择,而MEMM模型则解决了这一问题...
  • qq_29828623
  • qq_29828623
  • 2016年05月19日 23:10
  • 688

CRF HMM,MEMM的区别

HMM详解:http://blog.csdn.net/likelet/article/details/7056068 图示区别:http://blog.csdn.net/zhoubl668/arti...
  • baidu_26550817
  • baidu_26550817
  • 2015年10月09日 09:32
  • 1111

标注偏置问题(Label Bias Problem)和HMM、MEMM、CRF模型比较

标注偏置问题(LabelBias Problem)和HMM、MEMM、CRF模型比较 http://blog.csdn.net/lskyne/article/details/8669301 出处:...
  • icaiyuniyue
  • icaiyuniyue
  • 2017年06月15日 20:51
  • 91

HMM->MEMM->CRF

1 概念随机过程 马尔科夫随机过程 随机场 马尔科夫随机场联合概率分布P(Y) P(Y)可用无向图G(V,E) G(V,E)表示,在图G G中,节点表示随机变量,边表示变量之间的依赖。如果该联合...
  • foolsnowman
  • foolsnowman
  • 2016年02月06日 22:07
  • 1512

HMM,MEMM,CRF模型的比较

这三个模型都可以用来做序列标注模型。但是其各自有自身的特点,HMM模型是对转移概率和表现概率直接建模,统计共现概率。而MEMM模型是对转移概率和表现概率建立联合概率,统计时统计的是条件概率。MEMM容...
  • caohao2008
  • caohao2008
  • 2009年06月04日 15:22
  • 8339

标记偏置 隐马尔科夫 最大熵马尔科夫 HMM MEMM

隐马尔科夫模型(HMM): 图1. 隐马尔科夫模型 隐马尔科夫模型的缺点:         1、HMM只依赖于每一个状态和它对应的观察对象:              ...
  • xum2008
  • xum2008
  • 2014年07月26日 17:23
  • 3658

MEMM,HMM,CRF三者之间的关系

隐马尔可夫模型(Hidden Markov Model,HMM),最大熵马尔可夫模型(Maximum Entropy Markov Model,MEMM)以及条件随机场(Conditional Ran...
  • baidu_15113429
  • baidu_15113429
  • 2017年05月31日 17:49
  • 300

CRF 理解

CRF概念CRF(conditional random field) 条件随机场模型是由Lafferty在2001年提出的一种典型的判别式模型. 它在观测序列的基础上对目标序列进行建模.重点解决 序列...
  • godotlee
  • godotlee
  • 2017年03月26日 15:34
  • 495

HMM、MEMM、CRF模型比较

HMM模型中存在两个假设:一是输出观察值之间严格独立,二是状态的转移过程中当前状态只与前一状态有关(一阶马尔可夫模型)。 MEMM模型克服了观察值之间严格独立产生的问题,但是由于状态之间的假设理...
  • kwame211
  • kwame211
  • 2017年07月14日 09:35
  • 116
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:标注偏置问题(Label Bias Problem)和HMM、MEMM、CRF模型比较
举报原因:
原因补充:

(最多只允许输入30个字)