隐马尔科夫模型HMM

诸神缄默不语-个人CSDN博文目录

本文介绍常见的机器学习模型隐马尔科夫模型HMM。
HMM也是generative model。

原始论文：(1971 The Annals of Mathematical Statistics) A Maximization Technique Occurring in the Statistical Analysis of Probabilistic Functions of Markov Chains

1. 概率与随机过程的区别

概率是反映随机事件发生的可能性。若随机事件发生的概率随时间而改变，我们在考虑时间因素或空间因素的情况下去分析随机事件发生的概率，称为随机过程。
若我们每次抛掷硬币且正面向上的概率为0.5，正面向上的概率不随抛掷次数而改变，我们可以用概率来描述这一事件，如P(X)，其中X表示硬币正面向上的随机事件。
若我们每次抛掷硬币，硬币落在地上会导致形状的改变，正面向上的概率随抛掷次数的改变而改变，我们用随机过程来描述这一事件，如$P(X_1,X_2,\dots ,X_i)$，其中$X_i$表示第i次抛掷硬币正面向上的随机事件。
笼统的讲，概率是分析一个随机变量，而随机过程是分析一组随机变量。

2. HMM概念

隐马尔科夫模型 Hidden Markov models (HMMs) 是时间序列的概率模型，变量variables可以在状态states之间转换，各种转换的概率（switch probability）不同。每个状态都能以某一概率（output probability）产生输出output之一。状态和输出的集合已知，输出已知，状态转换概率和输出概率等信息未知（隐）。

需要解决的问题：

1. 推理：根据输出序列计算candidate state-switch sequences的概率
2. 模式匹配：根据输出序列计算最可能是的state-switch sequence（Viterbi算法：信号处理领域）
3. 训练：给出输出序列（训练）数据，计算最可能出现的state-switch/output probabilities (ie, system internals)
4. 已知观测序列O和模型参数$\lambda$，如何求解观测序列O出现的概率$P(O|\lambda )$

模式匹配和训练任务事实上就是Naive Bayesian推理¹延伸到了序列数据上。

假设：

1. 状态序列（标注序列）符合马尔科夫链假设，状态转换的概率取决于前N个状态。最简单的N=1就是‘first-order’ case，仅基于当前状态决定（马尔科夫过程²）
2. 生成输出结果的概率仅取决于当前概率
3. 观测序列是相互独立的

给定state-switch sequence和对应的observed-output sequence，可以直接用每个概率通过乘法计算出整体的概率。

马尔科夫模型与隐马尔科夫模型的区别：是否含有隐变量

3. HMM参数介绍和求解方法

观测序列：观测概率矩阵B（状态生成观测的概率）
未观测的状态序列：初始状态概率向量$\pi$（处于状态的概率） + 状态转移概率矩阵A

$\lambda =(A,B,\pi )$

HMM：$P(O|\lambda )=\sum _{I}P(O,I|\lambda )=\sum _{I}P(O|I,\lambda )P(I|\lambda )$（其中I为标注序列）
给定模型参数，生成观测的概率→引入隐变量状态序列辅助求解

1. 训练，已知$O$求$\lambda$：其中I为标注序列，在公式中是隐变量，因此可用EM算法³求解上式的模型参数$\lambda$。具体步骤：
   1. 初始化$\overline{\lambda }$
   2. 观测变量和隐变量的对数似然函数：$\log P(O,I|\lambda )={\pi }_{i_1}{b}_{i_1}(o_1)a_{i_1{i}_2}{b}_{i_2}(o_2)\cdots a_{i_{T-1}{i}_T}{b}_{i_T}(o_T)$（初始状态×生成观测的概率×状态转移概率×生成观测的概率…）
   3. E：对隐变量求期望 $Q(\lambda ,\overline{\lambda })=\sum _I\log P(O,I|\lambda )P(O,I|\overline{\lambda })=\sum _I\log {\pi }_{i_1}P(O,I|\overline{\lambda })+\sum _I(\sum _{t=1}^{T-1}\log a_{i_t{i}_{t+1}})P(O,I|\overline{\lambda })+\sum _I(\sum _{t=1}^T\log b_{i_t}(o_t))P(O,I|\overline{\lambda })$
   4. M：求使$Q$取极大值的$\lambda =(A,B,\pi )$
      求偏导数并使其等于0，有：$\frac{\partial Q(\lambda ,\overline{\lambda })}{\partial {\pi }_i}=\frac{\partial Q(\lambda ,\overline{\lambda })}{\partial a_{ij}}=\frac{\partial Q(\lambda ,\overline{\lambda })}{\partial b_j(k)}0$
      约束条件为初始状态概率分布的和等于1，即：$\sum _{i=1}^N{\pi }_i=1$
      状态已知的情况下，观测概率分布的和等于1，即：$\sum _{k=1}^M{b}_j(k)=1$
      得到${\pi }_i,a_{ij},b_j(k)$的值，即更新$\lambda$
   5. 重复步骤3、4
2. 计算观测序列出现的概率（N是总的状态数）
   1. 枚举法：$O(T{N}^T)$
      
   2. 递推法：$O(T{N}^2)$
      状态为$q_i$的前向概率${\alpha }_t(i)$（生成给定长度为t的观测序列，且t状态是$q_i$的概率）：${\alpha }_t(i)=P(o_1,o_2,\dots ,o_t,i_t=q_i|\lambda )$
      
      t=1时：${\alpha }_1(i)={\pi }_i{b}_i(o_1),i=1,2,\dots ,N$（初始得到该状态×该状态生出该观测）
      $P(o_1|\lambda )=\sum _{i=1}^N{\alpha }_1(i)$（在所有状态下生成该观测的概率加总）
      
      递推，对于$t=1,2,\dots ,T-1$
      ${\alpha }_{t+1}(i)=[\sum _{j=1}^N{\alpha }_t(j)a_{ji}]b_i(o_{t+1}),i=1,2,\dots ,N$（上一次生成状态j，状态j转移为状态i，状态i生成观测的概率）
      $P(o_1,o_2,\dots ,o_{t+1}|\lambda )=\sum _{i=1}^N{\alpha }_{t+1}(i)$
      
      当t=T时：
      $P(O|\lambda )=\sum _{i=1}^N{\alpha }_T(i)$
      
      算法复杂度（感觉图把i写成j了）：
      
      
      ${\alpha }_{t+1}(i)=\sum _{j=1}^N{\alpha }_t(j)a_{ji}$（a是状态转移概率）
      因此从t到t+1时刻的计算量为$O(N^2)$
      对于观测序列长度为T：$O(T{N}^2)$
3. 模式匹配中的维特比Viterbi算法（动态规划）
   给定$\lambda$（模型参数）和$O$（观测序列），预测最有可能的状态序列
   算法思想：若 t 时刻最有可能的状态序列$I=(i_1,i_2,\dots ,i_t^{\ast })$通过$i_t^{\ast }$，则从t时刻到T时刻的最优路径一定包括$i_t^{\ast }$。我们利用这一思想确定了最优状态序列的最后一个时刻的状态$i_T$，然后利用该状态回溯时刻$t=1,2,\dots ,T-1$的最优状态
   
   示例：
   已知模型$\lambda =(A,B,\pi )$，观测集合 V = { O 1 , O 2 } V=\{O_1,O_2\} V={O1​,O2​}，状态集合 Q = { 1 , 2 , 3 } Q=\{1,2,3\} Q={1,2,3}
   $A=\left[\begin{array}{c}0.5,0.2,0.3\\ 0.3,0.5,0.2\\ 0.2,0.3,0.5\end{array}\right],B=\left[\begin{array}{c}0.5,0.5\\ 0.4,0.6\\ 0.7,0.3\end{array}\right],\pi =(0.2,0.4,0.2{)}^T$
   若观测序列$O=(O_1,O_2,O_1)$，求最优状态序列$I=(i_1^{\ast },i_2^{\ast },i_3^{\ast })$
   
   
   解：
   定义${\delta }_t(i)$是所有长度为t、最终状态为i的、能得到指定观测序列的路径中，概率最大的路径的概率。
   定义${\Psi }_t(i)$是所有长度为t、最终状态为i的、能得到指定观测序列的路径中，最有可能的倒数第二个节点（倒数第二个时间点概率最大的状态）：${\Psi }_t(i)=\underset{i\le j\le N}{\mathrm{argmax}}[{\delta }_{t-1}(j)a_{ji}]$
   
   根据维特比算法的核心思想，我们计算观测序列下的最优路径：
   1. t=1时，${\delta }_1(i)$是观测为$o_1$、状态为i的概率：
      ${\delta }_1(i)={\pi }_i{b}_i(O_1),i=1,2,3$
      得${\delta }_1(1)=0.2\ast 0.5=0.1,{\delta }_1(2)=0.16,{\delta }_1(3)=0.28$
      记${\Psi }_1(i)=0,i=1,2,3$
   2. t=2时：
      ${\delta }_2(i)=\underset{1\le j\le 3}{\max }[{\delta }_1(j)a_{ji}]b_i(o_2)$
      ${\Psi }_2(i)=\underset{1\le j\le 3}{\mathrm{argmax}}[{\delta }_1(j)a_{ji}],i=1,2,3$
      δ 2 ( 1 ) = max ⁡ j { 0.1 ∗ 0.5 , 0.16 ∗ 0.3 , 0.28 ∗ 0.2 } , Ψ 2 ( 1 ) = 3 \delta_2(1)=\max\limits_j\{0.1*0.5,0.16*0.3,0.28*0.2\},\Psi_2(1)=3 δ2​(1)=jmax​{0.1∗0.5,0.16∗0.3,0.28∗0.2},Ψ2​(1)=3
      类似：${\delta }_2(2)=0.0504,{\Psi }_2(2)=3,{\delta }_2(3)=0.042,{\Psi }_2(3)=3$
   3. t=3时：
      ${\delta }_3(i)=\underset{1\le j\le 3}{\max }[{\delta }_2(j)a_{ji}]b_i(o_3)$
      ${\Psi }_3(i)=\underset{1\le j\le 3}{\mathrm{argmax}}[{\delta }_2(j)a_{ji}],i=1,2,3$
      ${\delta }_3(1)=0.00756,{\Psi }_3(1)=2,{\delta }_3(2)=0.01008,{\Psi }_3(2)=2,{\delta }_3(3)=0.0147,{\Psi }_3(3)=3$
      最有可能的路径以$i_3^{\ast }={\mathrm{argmax}}_i[{\delta }_3(i)]$为最终状态
   4. 回溯其他时刻的最优节点：
      t=2时，$i_2^{\ast }={\Psi }_3(i_3^{\ast })={\Psi }_3(3)=3$
      t=1时，$i_1^{\ast }={\Psi }_2(i_2^{\ast })={\Psi }_2(3)=3$
      因此最优状态序列是：$I=(i_1^{\ast },i_2^{\ast },i_3^{\ast })=(3,3,3)$

4. HMM用法

1. 标注学习/序列标注 sequence tagging：对已观测到的数据序列O进行标注，标注序列I相当于隐变量
   

2. 语音识别：waveform是输出序列，匹配音素（状态）序列

3. 词性标注

4. 文本分析

5. 其他正文及脚注未提及的参考资料

1. Natural language processing: an introduction
2. 初学者也能看懂的隐马尔科夫模型介绍
3. 还没看
   1. Hidden Markov models | SpringerLink

---

1. 可参考我撰写的博文：朴素贝叶斯Naive Bayesian分类器 (NBC)_诸神缄默不语的博客-CSDN博客 ↩︎

2. 马尔可夫过程_百度百科 ↩︎

3. 可参考我撰写的博文：变分推断（variational inference）/variational EM_诸神缄默不语的博客-CSDN博客 ↩︎