隐马尔科夫模型

本博客是根据隐马尔科夫模型HMM（一）HMM模型、隐马尔科夫模型HMM（二）前向后向算法评估观察序列概率、隐马尔科夫模型HMM（四）维特比算法解码隐藏状态序列做的笔记

一、背景

1. 隐马尔可夫模型用于解决：a. 基于序列的问题；b. 序列有隐藏状态和观测状态。
2. 下图表示的是一个长度为{T}的隐马尔可夫模型。其中状态序列$I=(i_1,i_2,..,i_T)$，观测序列$O=(O_1,O_2,..,O_T)$.任意一个隐藏状态 i t ∈ Q = { q 1 , q 2 , . . , q N } i_{t}\in Q= \{q_{1},q_{2},..,q_{N}\} it​∈Q={q1​,q2​,..,qN​}，共有$N$种隐藏状态。任意一个观测状态 O t ∈ V = { v 1 , v 2 , . . , v m } ， 共 有 O_{t}\in V= \{v_{1},v_{2},..,v_{m}\}，共有 Ot​∈V={v1​,v2​,..,vm​}，共有M$种观测状态$。
   
3. 隐马尔可夫模型可用三个矩阵描述：
   1) 初始概率矩阵$\Pi$。$i_1$取 { q 1 , q 2 , . . , q N } \{q_{1},q_{2},..,q_{N}\} {q1​,q2​,..,qN​}的概率。
   2) 状态转移矩阵$A$.矩阵任意一个元素$a_{i,j}$表示从$t$时刻的隐藏状态$q_i$转移到$t+1$时刻的隐藏状态$q_j$的概率，即$a_{i,j}=P(i_{t+1}=q_j|i_t=q_i)$。———齐次马尔科夫链假设。即任意时刻的隐藏状态只依赖于它前一个隐藏状态。
   3)观测矩阵$B$。矩阵任意一个元素$b_j(O_t)$表示从$t$时刻的隐藏状态$q_i$观测到状态$o_j$的概率，即$b_j(O_t)=P(O_t|i_t=q_i)$。——观测独立性假设。即任意时刻的观察状态只仅仅依赖于当前时刻的隐藏状态。

二、隐马尔科夫观测序列的生成

三、隐马尔科夫模型的三个基本问题

1. 评估观察序列的概率。即给定模型参数$\lambda =(A,B,\Pi )$和观测序列$O=(O_1,O_2,..,O_T)$。计算$P(O|\lambda )$。这个问题用到前向后向算法。
2. 模型参数学习。给定观测序列$O=(O_1,O_2,..,O_T)$，估计模型参数$\lambda =(A,B,\Pi )$，使该模型$P(O|\lambda )$最大。这个问题用到EM算法的鲍姆-韦尔算法
3. 预测问题，也称解码问题。给定模型参数$\lambda =(A,B,\Pi )$和观测序列$O=(O_1,O_2,..,O_T)$，求给定观测序列条件下，最可能出现的状态序列。这个问题求解需要用到基于动态规划的维特比算法。

四、前向后向算法

评估观察序列的概率。即给定模型参数$\lambda =(A,B,\Pi )$和观测序列$O=(O_1,O_2,..,O_T)$。计算$P(O|\lambda )$

1. 暴力求解
   
2. 前向算法

前向算法本质上属于动态规划的算法，也就是我们要通过找到局部状态递推的公式，这样一步步的从子问题的最优解拓展到整个问题的最优解。

${\alpha }_t(j)a_{ji}$——$t$时刻的隐藏状态是$q_j$，$t+1$时刻的隐藏状态是$q_i$,且观测序列是$O_1,O_2,...,O_t$的概率。

$$\begin{array}{rl}{\alpha }_t(j)a_{ji}& =P(O_1,O_2,...,O_t,i_t=q_j|\lambda )\ast P(i_{t+1}=q_i|i_t=q_j)(1)\\ & =P(O_1,O_2,...,O_t|i_t=q_j,\lambda )\ast P(i_t=q_i,\lambda )\ast P(i_{t+1}=q_i|i_t=q_j)(2)\\ & =P(O_1,O_2,...,O_t,i_{t+1}=q_i|P(i_t=q_j,\lambda )\ast P(i_t=q_i,\lambda )(3)\\ & =P(O_1,O_2,...,O_t,i_t=q_j,i_{t+1}=q_i|\lambda )\end{array}$$
${\Sigma }_{j=1}^N{\alpha }_t(j)a_{ji}=P(O_1,O_2,...,O_t,i_{t+1}=q_i|\lambda )$
类似于（1）~（3）式的变化过程，下列的式子可化为
$$\begin{array}{rl}[{\Sigma }_{j=1}^N{\alpha }_t(j)a_{ji}]b_{i+1}(O_{t+1})& =P(O_1,O_2,...,O_t,i_{t+1}=q_i|\lambda )\ast P(O_{t+1}|i_{t+1}=q_i)\\ & =P(O_1,O_2,...,O_t,O_{t+1},i_{t+1}=q_i|\lambda )\\ & ={\alpha }_{t+1}(i)\end{array}$$
实现了${\alpha }_t$到${\alpha }_{t+1}$的递推

3. 后向算法
   后向算法与前向算法类似，参考
   
   

五、一些概率

1. 给定时刻$t$，参数$\lambda$和观测序列，求$P(i_t=q_i|O,\lambda )$
   ${\gamma }_t(i)=P(i_t=q_i|O,\lambda )$

$$\begin{array}{rl}{\gamma }_t(i)& =P(i_t=q_i|O,\lambda )\\ & =\frac{P(i_t=q_i,O|\lambda )}{P(O|\lambda )}\\ & =\frac{P(i_t=q_i,O_1,O_2,...,O_t,O_{t+1},...,O_T|\lambda )}{P(O|\lambda )}\\ & =\frac{P(O_1,O_2,...,O_t,O_{t+1},...,O_T|i_t=q_i,\lambda )\ast P(i_t=q_i)}{P(O|\lambda )}\\ & =\frac{P(O_1,O_2,...,O_t,|i_t=q_i,\lambda )\ast P(i_t=q_i)\ast P(O_{t+1},...,O_T|i_t=q_i,\lambda )}{P(O|\lambda )}\\ & =\frac{P(O_1,O_2,...,O_t,i_t=q_i,\lambda )\ast P(O_{t+1},...,O_T|i_t=q_i,\lambda )}{P(O|\lambda )}\\ & =\frac{{\alpha }_t(i){\beta }_t(i)}{P(O|\lambda )}\\ & =\frac{{\alpha }_t(i){\beta }_t(i)}{{\Sigma }_{i=1}^N{\alpha }_t(i){\beta }_t(i)}\end{array}$$

2. 给定模型参数$\lambda$和观测序列O,在时刻$t$处于状态$q_i$，且时刻$t+1$处于状态$q_j$的概率记为:
   ${\xi }_t=P(i_t=q_i,i_{t+1}=q_j|O,\lambda )$

$$\begin{array}{rl}{\xi }_t& =P(i_t=q_i,i_{t+1}=q_j|O,\lambda )\\ & =\frac{P(i_t=q_i,i_{t+1}=q_j,O|\lambda )}{P(O|\lambda )}(1)条件概率公式，O作为条件乘进去\\ & =\frac{P(i_{t+1}=q_j,O|i_t=q_i,\lambda )\ast P(i_t=q_i)}{P(O|\lambda )}(2)分离出P(i_t=q_i)\\ & =\frac{P(i_{t+1}=q_j,O_1,O_2,...,O_t,O_{t+1},...,O_T|i_t=q_i,\lambda )\ast P(i_t=q_i)}{P(O|\lambda )}(3)展开O\\ & =\frac{P(O_1,O_2,...,O_t|i_t=q_i,\lambda )\ast P(i_{t+1}=q_j,O_{t+1},...,O_T|i_t=q_i)\ast P(i_t=q_i)}{P(O|\lambda )}(4)分开O为O_1{O}_t和O_t{O}_T\\ & ={\alpha }_t(i)\ast \frac{P(i_{t+1}=q_j,O_{t+1},...,O_T|i_t=q_i)}{P(O|\lambda )}(5)合并{\alpha }_t(i)\\ & ={\alpha }_t(i)\ast \frac{P(i_t=q_i,i_{t+1}=q_j,O_{t+1},...,O_T)}{P(i_t=q_i)\ast P(O|\lambda )}(6)去掉i_t=q_i这个条件\\ & ={\alpha }_t(i)\ast \frac{P(i_t=q_i,O_{t+1},...,O_T|i_{t+1}=q_j)\ast P(i_{t+1}=q_j)}{P(i_t=q_i)\ast P(O|\lambda )}(7)加上i_{t+1}=q_j这个条件\\ & ={\alpha }_t(i)\ast \frac{P(i_t=q_i|i_{t+1}=q_j)\ast P(O_{t+1},...,O_T|i_{t+1}=q_j)P(i_{t+1}=q_j)}{P(i_t=q_i)\ast P(O|\lambda )}(8)在i_{t+1}=q_j时，i_t=q_i与O_{t+1},...,O_T独立\\ & ={\alpha }_t(i)\ast P(O_{t+1}|i_{t+1}=q_j)\ast P(O_{t+2},...,O_T|i_{t+1}=q_j）\frac{P(i_t=q_i|i_{t+1}=q_j)\ast P(i_{t+1}=q_j)}{P(i_t=q_i)\ast P(O|\lambda )}(8)在i_{t+1}=q_j时，O_{t+1}与O_{t+2},...,O_T独立\\ & ={\alpha }_t(i)\ast b_j(O_{t+1})\ast {\beta }_j(t+1)\ast \frac{P(i_t=q_i|i_{t+1}=q_j)\ast P(i_{t+1}=q_j)}{P(i_t=q_i)\ast P(O|\lambda )}(9)b和\beta 公式化简\\ & ={\alpha }_t(i)\ast b_j(O_{t+1}\ast {\beta }_j(t+1)\ast \frac{P(i_{t+1}=q_j|i_t=q_i)}{P(O|\lambda )}(10)公式化简\\ & =\frac{{\alpha }_t(i)b_j(O_{t+1}){\beta }_j(t+1)a_{ij}}{P(O|\lambda )}(10)公式化简\end{array}$$
$P(O|\lambda )={\Sigma }_{r=1}^N{\Sigma }_{s=1}^m{\alpha }_r(i)b_s(O_{t+1}){\beta }_s(t+1)a_{rs}$
${\xi }_t=\frac{{\alpha }_t(i)b_j(O_{t+1}){\beta }_j(t+1)a_{ij}}{{\Sigma }_{r=1}^N{\Sigma }_{s=1}^m{\alpha }_r(i)a_{rs}{b}_s(O_{t+1}){\beta }_s(t+1)}$