轻松入门自然语言处理系列 12 隐马尔可夫模型

前言

本文主要介绍了隐马尔可夫模型，包含HMM基础、HMM的参数及推理、参数估计等内容。

一、HMM基础

1.时间序列数据

常见的非序列和序列数据如下：

非序列数据

例如图片、人的特征等。

从时间角度来看，这些数据的维度是固定的，不会随着时间的变化而变化。

序列数据

股票价格、语音、文本、天气温度的变化等数据。

数据会随着时间的改变而改变，即沿着时间的维度而变化，而不是一直不变，而且相邻时刻之间有一定的相关性。同时序列数据的长度不是固定的，

因为一般的机器的数据输入一般是长度固定的，因此在使用一些模型（例如逻辑回归、SVM等）处理序列数据的时候，因为没有考虑到时间维度，因此损失了一些很重要的信息。此时需要一种专门的模型，能够捕获时间信息，同时不依赖于数据的长度，可以动态接受不同长度的数据。这就是时间序列模型，包括传统机器学习中HMM、CRF，深度学习中的RNN、LSTM等模型，都是时序模型。

2.HMM基本概念

HMM（Hidden Markov Model，隐马尔可夫模型）的模型图示如下：

可以看到，模型中，上面的变量z是隐式变量（L