隐马尔可夫模型HMM

隐马尔可夫模型HMM

隐马尔科夫模型（Hidden Markov Model，以下简称HMM）是比较经典的机器学习模型了，它在语言识别，自然语言处理，模式识别等领域得到广泛的应用。
隐马尔可夫模型HMM

当然，随着目前深度学习的崛起，尤其是RNN，LSTM等神经网络序列模型的火热，HMM的地位有所下降。

但是作为一个经典的模型，学习HMM的模型和对应算法，对我们解决问题建模的能力提高以及算法思路的拓展还是很好的。

1.1 什么样的问题需要HMM模型

首先我们来看看什么样的问题解决可以用HMM模型。

使用HMM模型时我们的问题一般有这两个特征：

１）我们的问题是基于序列的，比如时间序列，或者状态序列。

２）我们的问题中有两类数据，一类序列数据是可以观测到的，即观测序列；而另一类数据是不能观察到的，即隐藏状态序列，简称状态序列。

其是根据一些已观察到的证据（例如训练样本）来对感兴趣的未知变量（例如类别标记）进行估计和推测。存在状态变量和隐藏变量

采用结构图信息和以下三组参数：




三个基本问题
1.如何评估模型与观测序列之间的匹配程度？即合理产生观测序列（正向）（MRF理论）
2.如何推断出隐藏的模型状态？（反向）（CRF理论）
3.如何更好地评价三元参数，即训练样本能更好地还原？
精确推断：变量消去法 信念传播
近似推断：MCMC采样 变分推断