第25课：HMM——定义和假设

一些基本概念

在正式讲解隐马尔可夫模型（Hidden Markov Model，HMM）之前，有几个概念需要搞清楚。

概率模型（Probabilistic Model）

所谓概率模型，顾名思义，就是将学习任务归结于计算变量的概率分布的模型。

概率模型非常重要。在生活中，我们经常会根据一些已经观察到的现象来推测和估计未知的东西——这种需求，恰恰是概率模型的推断（Inference）行为所做的事情。

推断（Inference）的本质是：利用可观测变量，来推测未知变量的条件分布。

我们下面要讲的隐马尔可夫模型（HMM）和条件随机场（CRF）都是概率模型，之前讲过的朴素贝叶斯和逻辑回归也是概率模型。

生成模型 VS 判别模型

概率模型又可以分为两类：生成模型（Generative Model）和判别模型（Discriminative Model）。这两种模型有什么不同呢？我们来看一下。

既然概率模型是通过可观测变量推断部分未知变量，那么我们将可观测变量的集合命名为 $O$，我们感兴趣的未知变量的集合命名为 $Y$。

生成模型学习出来的是 $O$ 与 $Y$ 的联合概率分布 $P(O,Y)$，而判别模型学习的是条件概率分布：$P(Y|O)$。

之前我们学过的朴素贝叶斯模型是生成模型，而逻辑回归则是判别模型。

对于某一个给定的观察值