自然语言期末复习笔记—最大熵马尔科夫模型MEMM

本文深入探讨最大熵马尔科夫模型(MEMM)的概念,通过序列标注与隐马尔科夫模型的对比,揭示其独特之处。重点解析了状态概率的条件表达式P(S|O,M)及特征函数在模型中的作用。博主通过自己的学习历程,解释了最大熵在MEMM中的体现,并引用《speech and language processing》一书的解释作为答案。" 111512296,10293656,Rose HA与SQL双机软件安装配置详解,"['ha rose server', 'sql', '双机软件', 'Oracle数据库', '故障转移']
摘要由CSDN通过智能技术生成

在这篇博客,我们来谈一谈最大熵马尔科夫模型MEMM
关于这部分内容,我看了一晚上,整个公式都都梳理了之后,愣是没明白这个最大熵体现在哪里,当然我最终查阅了很多资料,终于还是弄明白了,我会在这篇博客上详细讲解。不得不说一下,咱们国内的博客基本都是来自同一个资料源,就比如说这个最大熵马尔科夫模型,搜索来搜索去,都是拿复制转载,有的好的会加点自己的观点。
最大熵马尔科夫型MEMM
这里写图片描述

这个图是以序列标注为举例,与隐马尔科夫做对比。我们可以看到很大的不同是,序列标注是根据上一个状态和观察值来判定。
再来上一个图,可能可以给更清楚的认识
这里写图片描述

在这里我需要提醒以下我们看到一个状态的概率是前一个状态和和当前观察状态下的条件概率。P(S|O,M),这个是一个很抽象的表达式,不要把他当成是HMM模型中那种频数相除。

这里写图片描述
这个是关于MEMM数学公式表达式。我们看到等式最右边那个是对通过特征函数做的归一化操作。
特征函数,我们在最大熵模型那篇博客里已经详细介绍过,在这里简单说说
这里写图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值