MEMM最大熵马尔科夫模型

做事必须搞清楚的九个顺序!


1.职场:先升值,再升职; 2.沟通:先求同,再求异; 3.执行:先完成,再完美; 4.学习:先记录,再记忆; 5.投诉:先解决心情,再解决事情; 6.人际:先交流,再交心; 7.先成长,再成功; 8.先站住,再站高; 9.先仿造,再创造。


CRF,HMM(隐马模型),MEMM(最大熵隐马模型)都常用来做序列标注的建模,像词性标注,True casing。但隐马模型一个最大的缺点就是由于其输出独立性假设,导致其不能考虑上下文的特征,限制了特征的选择,而最大熵隐马模型则解决了这一问题,可以任意的选择特征,但由于其在每一节点都要进行归一化,所以只能找到局部的最优值,同时也带来了标记偏见的问题(label bias),即凡是训练语料中未出现的情况全都忽略掉,而条件随机场则很好的解决了这一问题,他并不在每一个节点进行归一化,而是所有特征进行全局归一化,因此可以求得全局的最优值。

最大熵马尔科夫在建模的时候考虑的问题和ME(最大熵模型)其实是一样的。

 

同样是马尔科夫的三个基本问题。

 

问题1:给定观察序列O=O1,O2,…OT,以及模型  λ=(π, A, B),  如何计算P(O|λ)? 

问题2:给定观察序列O=O1,O2,…OT以及模型λ,如何选择一个对应的状态序列     S = q1,q2,…qT,使得S能够最为合理的解释观察序列O?即argmaxss∈Q|T|P(T,S|λ).

问题3:如何调整模型参数 λ=(π, A, B)  ,  使得P(O|λ)最大?

 

1. 对于第一个问题使用类似于Forward-Backward的过程来解决。

2. 对于第二个问题使用类似于Viterbi的算法来解决。

3. 对于第三个问题使用和ME模型训练相同的方法GIS来解决。

 

在建模的时候MEMM想优化的问题和ME很像。而在运用模型的时候和HMM很像。




HMM MEMM CRF 区别 联系


HMM,MEMM,CRF模型的比较


标记偏置 隐马尔科夫 最大熵马尔科夫 HMM MEMM




评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值