机器学习之HMM模型

1 HMM(隐马尔可夫)模型介绍

隐马尔可夫模型是马尔可夫过程衍生出的概率图模型，最早由 Baum 和 Egon 于 1967 年提出， 常被用于人脸识别、语音识别、 基因工程测序、金融时间序列的建模等。该模型假设一组观测序列是由一些隐藏的状态生成，这些隐状态的转移过程是一个马尔科夫过程，每一个隐状态对应一个或几个可观测到的变量。通常隐状态的转移概率矩阵未知，观测序列是由哪个隐状态序列生成也是未知的，需要通过观测值序列作为隐马尔科夫模型的输入变量来推测。接下来对其详细介绍。

1.1 HMM 模型的定义

假设模型中所有隐藏状态的集合为 $Q$ （可能的隐藏状态数 $N$），所有观测状态的集合为 $V$ （可能的观察状态数 $M$），则可以表示成如下的形式：

Q = { q 1 , q 2 , . . . , Q N } , V = { v 1 , v 2 , . . . , v M } Q=\{q_1,q_2,...,Q_N\},V=\{v_1,v_2,...,v_M\} Q={ q1​,q2​,...,QN​},V={ v1​,v2​,...,vM​}

对于某一个长度为 $T$ 的序列，其隐藏状态序列 $I$ 与观测序列 $O$ 可以表示成如下形式：

I = { i 1 , i 2 , . . . , i T } , O = { o 1 , o 2 , . . . , o T } I=\{i_1,i_2,...,i_T\},O=\{o_1,o_2,...,o_T\} I={ i1​,i2​,...,iT​},O={ o1​,o2​,...,oT​}

$$i_t\in Q,o_t\in V$$

HMM 的两个基本假设如下：

• 1 马尔科夫性，当前状态只与前一个时刻的状态有关而与其他时刻无关。
• 2 观测(变量分布)独立假设性，即任意时刻的观测到的变量的分布只依赖于该时刻的状态与其他时刻的状态和观测值无关。

HMM 由状态转移概率矩阵 $A$，观测概率矩阵 $B$ 及初始概率分布 $\pi$ 决定:

• 状态转移概率矩阵： 由状态 $i_t=q_i$ 转移到状态 $i_{t+1}=q_j$ 的概率 $a_{ij}$ 构成。记

$$a_{ij}=P(i_{t+1}=q_j|i_t=q_i),1\le i,j\le N$$

$$A=[a_{ij}{]}_{N\times N}$$

• 观测概率矩阵：当隐藏状态 $i_t=q_j$ 时，对应的观测状态 $o_t=v_i$，设其相应为概率为 $b_{ij}$。记

$$b_{ij}=P(o_t=v_j|i_t=q_i),1\le i\le N,1\le j\le M$$

$$B=$$