概率图系列之隐马尔可夫模型（HMM）

概率图模型

概率图模型是一类用图来表达变量相关关系的概率模型。常见的是用一个节点表示一个或一组随机变量，节点之间的边表示变量之间的概率相关关系，如下图：

概率图根据边的性质，可以划分为两种：

• 有向图无环图——有向图模型或贝叶斯网
• 无向图——无向图图或马尔可夫网

隐马尔可夫模型（HMM）

性质：结构最简单的动态贝叶斯网——有向无环图
描述：由一个隐藏的马尔可夫链生成不可观测的状态随机序列，再由各个状态生成一个可观测而产生观测随机序列的过程。

上图的箭头表示依赖关系，HMM做了两个基本假设：

• 齐次马尔可夫假设：隐藏的马尔可夫链在任一时刻$t$的状态只依赖于上一个时刻$t-1$的状态
  $$p(y_t|y_1,x_1,y_2,x_2...,y_{t-1},x_{t-1})=p(y_t|y_{t-1})$$
• 观测独立性假设：任意时刻的观测只依赖于该时刻的马尔可夫链的状态，与其他观测即状态无关
  $$p(x_t|y_1,x_1,y_2,x_2...,y_{t-1},x_{t-1},y_t)=p(x_t|y_t)$$
  

基于如上的两个假设，可以获取所有变量的联合概率分布为：
$$p(x_1,y_1,x_2,y_2,...,x_t,y_t)=p(y_1)p(x_1|y_1)\prod _{i=2}^{t}p(y_i|y_{i-1})p(x_i|y_i)$$
其中 y ∈ { s 1 , s 2 , . . . , s N } y \in \{s_1,s_2,...,s_N\} y∈{ s1​,s2​,...,sN​}，表示有N种状态， x ∈ { o 1 , o 2 , . . . , o M } x \in \{ o_1,o_2,...,o_M\} x∈{ o1​,o2​,...,oM​}，表示有M种观测值。
除了结构信息，根据联合概率分布可得，如果要确定一个HMM，需要以下三组参数：

• 初始状态概率：模型在初始时刻各状态出现的概率，即$p(y)$，通常记为$\pi =({\pi }_1,{\pi }_2,...,{\pi }_N)$，$N$为状态的种类，其中
  $${\pi }_i=p(y=s_i),1⩽i⩽N$$
• 状态转移概率：模型在各个状态间转换的概率，通常记为$\mathbf{A}=[a_{ij}{]}_{N\times M}$
  $$a_{ij}=p(y_{t+1}=s_j|y_t=s_i)$$
• 输出观测概率：模型根据当前状态获得各个观测值得概率，通常记为$\mathbf{B}=[b_{ij}{]}_{N\times M}$，状态$s_i$下观测值为$o_j$的概率
  b i j = p ( x t = o j ∣ y t = s i ) b_{ij}=p(x_t=o_j|y_t=s_i) bij​=p(xt​=o