机器学习笔记之隐马尔可夫模型(二)背景介绍

引言

上一节对整个概率模型的划分进行了阶段性介绍，本节将系统介绍隐马尔可夫模型(Hidden Markov Model,HMM)。

回顾：动态概率图模型

动态概率图模型中的隐变量随着时间/序列信息的变化而变化，如下图所示(右)。相比于静态概率图模型(左)，如高斯混合模型，样本点一旦固定下来，对应的隐变量参数不再发生变化。

如果 系统状态中的每一个隐变量状态$\mathcal{Z}$的取值范围是离散的，以系统状态中$t$时刻对应的隐变量${\mathcal{Z}}^{(t)}$为例，$z^{(i)t}$表示$t$时刻的样本点$x^{(i)}$对应的隐变量，存在$\mathcal{K}$个离散结果供$z^{(i)t}$选择。即：
z ( i ) t ∈ { z 1 ( i ) t , z 2 ( i ) t , ⋯   , z K ( i ) t } z^{(i)t} \in \{z_1^{(i)t},z_2^{(i)t},\cdots,z_{\mathcal K}^{(i)t}\} z(i)t∈{ z1(i)t​,z2(i)t​,⋯,zK(i)t​}
满足上述条件的动态模型，其代表模型是隐马尔可夫模型。

隐马尔可夫模型

场景介绍

对隐马尔可夫模型中出现的概念进行符号定义：
定义 观测变量(Observed Variable)使用符号$\mathcal{O}$进行表示。各时刻的观测变量表示如下：
O = { o 1 , o 2 , ⋯   , o t , o t + 1 , ⋯   } \mathcal O = \{o_1,o_2,\cdots,o_t,o_{t+1},\cdots\} O={ o1​,o2​,⋯,ot​,ot+1​,⋯}
同理，定义 状态变量(State Variable)使用符号$\mathcal{I}$进行表示，各时刻的状态变量表示如下：
指的是隐变量，基于系统状态的另一种表达方式。
I = { i 1 , i 2 , ⋯   , i t , i t + 1 , ⋯   } \mathcal I = \{i_1,i_2,\cdots,i_t,i_{t+1},\cdots\} I={ i1​,i2​,⋯,it​,it+1​,⋯}
根据上面提到的动态模型，任意时刻的状态变量$i_s\in \mathcal{I}(s=1,2,\cdots ,t,t+1,\cdots )$，其取值范围是离散的，因而定义 状态变量取值范围的离散集合 为$\mathcal{Q}$，并且$\mathcal{Q}$集合中包含$\mathcal{K}$个元素。具体表示如下：
Q = { q 1 , q 2 , ⋯   , q K } \mathcal Q = \{q_1,q_2,\cdots,q_{\mathcal K}\} Q={ q1​,q2​,⋯,qK​}
同理，定义观测变量的取值结果也是离散的，并定义 观测变量取值范围的离散集合 为$\mathcal{V}$，并且$\mathcal{V}$集合中包含$\mathcal{M}$个元素。具体表示如下：
V = { v 1 , v 2 , ⋯   , v M } \mathcal V = \{v_1,v_2,\cdots,v_{\mathcal M}\} V={ v1​,v2​,⋯,vM​}

隐马尔可夫模型不同于其他静态模型的表达形式，其概率模型参数$\lambda$表示如下：
$$\lambda =(\pi ,\mathcal{A},\mathcal{B})$$
其中：

• $\pi$表示初始状态下的概率分布(Probability Distribution)；
• $\mathcal{A}$表示状态转移矩阵(Transition Matrix)；
• $\mathcal{B}$表示发射矩阵(Emission Matrix)

基于上述定义：

• 状态转移矩阵$\mathcal{A}$ 表示如下：
  $$\mathcal{A}=[a_{ij}]a$$