本文详细介绍了隐马尔科夫模型（HMM）的概念、算法推导，包括前向算法、后向算法、 Baum-Welch算法和维特比算法，并探讨了HMM的优缺点及适用场景。HMM常用于序列标注任务，如中文分词，通过求解HMM可得到状态序列。与条件随机场(CRF)相比，HMM模型较为简单，但限制较多，如无法充分利用上下文信息。
摘要：
1.算法概述
2.算法推导
3.算法特性及优缺点
4.注意事项(算法过程，调参等注意事项)
5.实现和具体例子
6.适用场合
内容：
1.算法概述
隐马尔科夫模型(Hidden Markov Model)是关于时序的概率模型，描述由一个隐含的马尔科夫链生成不可观测的状态序列，再由状态序列生成观测序列的过程。这种通过观测序列预测隐含的标记序列的问题叫做标注。
下图来自维基百科：
并且本文有如下符号表示：
其中
就是我们需要求得的一个三元组；拿中文分词的例子来说，分词中的状态序列是{ Begin,Middle,End,Single },对应单个字成词的就是Single,双连词就是{Begin,End},三联词就是{Begin,Middle,End}。而我们观测到的就是一个句子；通过HMM实现的分词算法可以通过
求得初始{ Begin,Middle,End,Single }这四个状态的分布，以及各个状态间相互转移的条件概率矩阵，当前状态对应一个中文词(Unicode编码)的条件概率矩阵。另一个直观的例子来自《统计学习方法》，是给定4个盒子(4个状态)，每个盒子有若干红，白小球，给定一个观测序列，求对应盒子的序列。
最后马尔科夫模型的两个基本假设：
1.齐次马尔科夫假设：马尔科夫链的当前状态之和其前一刻的状态有关，与其它状态无关；对应的概率语言是：
2.观测独立性假设：当前的观测只与该时刻的马尔科夫链相关，与其它观测及状态无关；对应的概率语言是：
2.算法推导
以下可以看作是HMM算法的一步步拆分，并且依次加深理解：
1.在模型给定下求观测序列的概率，即
前向算法(动态规划算法)：求观测序列为y1,y2,...,yt,并且t时间点对应状态
的概率
后向算法(动态规划算法)：已知t时间点对应状态
，求观测序列y(t+1),y(t+2),...,y(T)的概率
2.求解模型参数，使用对数极大似然估计，
，得到三元组
1)建立目标函数: 2)拆分三项:
由概率加和为1，建立拉格朗日函数，求得三个最大化的
3.求最可能的状态序列，即
:维特比算法
3.算法特性及优缺点
1.按照HMM 的假设，HMM模型是无记忆性的，不能利用上下文的信息。因为它只与其前一个状态有
关，如果想利用更多的已知信息，必须建立高阶的HMM 模型。
2.HMM学到的是状态和观察序列的联合分布P(Y,X)，而预测问题中，我们需要的是条件概率P(Y|X)。
4.注意事项(算法过程，调参等注意事项)
确定隐含变量个数
5.实现和具体例子
6.适用场合
7.与CRF比较：
1.CRF是一种判别式模型,CRF是一种无向图；HMM相反
2.CRF是在全局范围内统计归一化的概率，是全局最优的解；HMM相反
3.CRF没有HMM那样严格的独立性假设条件，因而可以容纳任意的上下文信息。特征设计灵活；；HMM相反
基于隐马尔科夫模型(HMM)的地图匹配(Map-Matching)算法
文章目录 1. 1. 摘要 2. 2. Map-Matching(MM)问题 3. 3. 隐马尔科夫模型(HMM) 3.1. 3.1. HMM简述 3.2. 3.2. 基于HMM的Map-Matchi ...
隐马尔科夫模型HMM学习最佳范例
谷歌路过这个专门介绍HMM及其相关算法的主页:http://rrurl.cn/vAgKhh 里面图文并茂动感十足,写得通俗易懂,可以说是介绍HMM很好的范例了.一个名为52nlp的博主(google ...
猪猪的机器学习笔记(十七)隐马尔科夫模型HMM
隐马尔科夫模型HMM 作者:樱花猪 摘要: 本文为七月算法(julyedu.com)12月机器学习第十七次课在线笔记.隐马尔可夫模型(Hidden Markov Model,HMM)是统计模型,它用来 ...
隐马尔科夫模型HMM(二)前向后向算法评估观察序列概率
隐马尔科夫模型HMM(一)HMM模型 隐马尔科夫模型HMM(二)前向后向算法评估观察序列概率 隐马尔科夫模型HMM(三)鲍姆-韦尔奇算法求解HMM参数(TODO) 隐马尔科夫模型HMM(四)维特比算法 ...
隐马尔科夫模型HMM(一)HMM模型
隐马尔科夫模型HMM(一)HMM模型基础 隐马尔科夫模型HMM(二)前向后向算法评估观察序列概率 隐马尔科夫模型HMM(三)鲍姆-韦尔奇算法求解HMM参数(TODO) 隐马尔科夫模型HMM(四)维特比 ...
隐马尔科夫模型HMM(三)鲍姆-韦尔奇算法求解HMM参数
隐马尔科夫模型HMM(一)HMM模型 隐马尔科夫模型HMM(二)前向后向算法评估观察序列概率 隐马尔科夫模型HMM(三)鲍姆-韦尔奇算法求解HMM参数(TODO) 隐马尔科夫模型HMM(四)维特比算法 ...
隐马尔科夫模型HMM(四)维特比算法解码隐藏状态序列
隐马尔科夫模型HMM(一)HMM模型 隐马尔科夫模型HMM(二)前向后向算法评估观察序列概率 隐马尔科夫模型HMM(三)鲍姆-韦尔奇算法求解HMM参数 隐马尔科夫模型HMM(四)维特比算法解码隐藏状态 ...
用hmmlearn学习隐马尔科夫模型HMM
在之前的HMM系列中,我们对隐马尔科夫模型HMM的原理以及三个问题的求解方法做了总结.本文我们就从实践的角度用Python的hmmlearn库来学习HMM的使用.关于hmmlearn的更多资料在官方文 ...
HMM：隐马尔可夫模型HMM
http://blog.csdn.net/pipisorry/article/details/50722178 隐马尔可夫模型 隐马尔可夫模型(Hidden Markov Model,HMM)是统计模 ...
机器学习之隐马尔科夫模型HMM(六)
摘要 隐马尔可夫模型(Hidden Markov Model,HMM)是统计模型,它用来描述一个含有隐含未知参数的马尔科夫过程.其难点是从可观察的参数中确定该过程的隐含参数,然后利用这些参数来作进一步 ...
随机推荐
功能实现：PLC对LPC的音量控制
设计方案1: 在PLC上,当使用QDial调节音量时,触发QDial的SIGNAL:ValueChange(),对应SLOT向LPC发送自定义键码0x22; 在LPC上,当接收到0x22键码时,执行操 ...
【nodejs笔记4】搭建多人博客<;内含http请求的get post方法区别>;
功能分析 博客具有四个功能:注册 登录 登出 发表文章 界面设计 未登录: [主页 注册页 登录页] [主页] 主页 左侧 HOME ...
select选择框内容左右移动添加删除栏(升级)
先看一下之前的版本(10年前的作品了) 新版增加了拖动事件(双向及本列),双击左右自动移动,修正了算法性能更好: 也更新了如果姓名长度太长显示变形问题
jeos没有消亡，但看 debian 的 netinst .iso格式，那就是jeos的系统！
曾经ubuntu推出专供轻量硬件(如虚拟机)方式的just os格式的.iso [小巧.轻量.快速.干净] 但在 ubuntu 8.04后 再也没有继续 ...... 可惜 不曾想,ubuntu的老爸 ...
Java处理InterruptedException异常小结
对于InterruptedException,一种常见的处理方式是捕捉它,然后什么也不做(或者记录下它,不过这也好不到哪去).不幸的是,这种方法忽略了这样一个事实:这期间可能发生中断,而中断可能导致应 ...
iOS－开发日志－UITextView介绍
UITextView 属性 1. text: 设置textView中文本 _textView.text = @"Now is the time for all good develo ...
C/C++生成随机数
一.rand和srand 在C++11标准出来之前,C/C++都依赖于stdlib.h头文件的rand或者srand来生成随机数. 其不是真正的随机数,是一个伪随机数,是根据一个数(我们可以称 ...
CentOS 7 增加磁盘分区挂载(lvm)
1.查看主机现有磁盘情况 # fdisk -l 现在主机中存在一块8G的磁盘sdb,尚未分区挂载,所以需将磁盘进行分区挂载. 2.对磁盘进行分区 # fdisk /dev/sdb (选择要操作分区 ...
Sqlite3数据库查看工具
SQLiteSpy 小巧便捷,免安装,占空间小. 推荐 http://www.softpedia.com/get/Internet/Servers/Database-Utils/SQLiteS ...
solr简介与安装
solr简介: Solr 是Apache下的一个顶级开源项目,采用Java开发,它是基于Lucene的全文搜索服务器.Solr提供了比Lucene更为丰富的查询语言,同时实现了可配置.可扩展,并对索引 ...
扫一扫
22万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
