机器学习笔记6 －－ 隐马尔科夫模型 Hidden Markov Model

Table of Contents

问题域

为什么HMM可以解决NLP问题

HMM基于两个假设

模型训练

三组参数

三个基本问题

---

问题域

概率模型将学习任务归结于计算变量的概率分布，其核心是如何基于可观测变量推测出未知变量的条件分布。

概率图模型就是一类用图来表达变量相关关系的概率模型，根据性质不同可以分为两类：第一类是使用有向无环图表示变量之间的依赖关系，称为有向图模型或者贝叶斯网；第二类是使用无向图表示变量间的相关关系，称为无向图模型或者马尔科夫网。隐马尔科夫模型是结构最简单的动态贝叶斯网，主要用于时序数据建模，是解决大多数自然语言处理问题最为快速、有效的方法。它成功的解决了复杂的语音识别、机器翻译等问题。

 

为什么HMM可以解决NLP问题

自然语言是人类交流信息等工具，语言和通信有天然的联系。但在自然语言处理研究早期，努力都集中在语法语义上，离通信等原理越来越远，当研究方向回归到通信系统中的解码问题时，很多难题都迎刃而解。所谓语音识别，就是听话人去猜测说话者要表达的意思。好比通信系统中，根据接收端的信号去分析、理解、还原发送端传来的信息。

接收端如何解析？假设接收端的观测信息为o1,o2,...从所有的源信息中找到最可能产生出观测信息的那一个信息串s1,s2,… 就是信号源发送的信息。即使P(s1,s2,...|o1,o2,...)达到最大值的那个信息串s1,s2,… 。利用贝叶斯变换成： P(o1,o2,...|s1,s2,...)⋅P(s1,s2,...)/P(o1,o2,...)。其中P(o1,o2,...)为可以忽略的常数，因此上面公式等价为P(o1,o2,...|s1,s2,...)⋅P(s1,s2,