第10章--隐马尔可夫模型（HMM）---（10）

1.模型概述

（1）模型定义

隐马尔可夫模型是关于时序的概率模型，描述由一个隐藏的马尔可夫链随机生成不可观测的状态的序列，再由各个状态随机生成一个观测而产生观测序列的过程。

（2）相关概念

• 状态序列：隐藏的马尔可夫链随机生成的状态序列。
• 观测序列：每一个状态生成一个随机的观测序列。
• 是一个生成模型，表示状态序列和观测序列的联合分布，但是状态序列是隐藏的，不可观测的。
• 可以用于标注，这时状态对应着标记。标注问题是给定观测序列预测其对应的标记序列。

（3）三要素

• 初始状态概率向量$\pi$
• 状态转移概率矩阵$A$
• 观测概率矩阵$B$

隐马尔可夫模型由这三要素决定，其中$\pi ，A$决定状态序列，$B$决定观测序列。
模型可以写成$\lambda =(A,B,\pi )$。

（4）两个假设

• 齐次马尔可夫性假设——隐性的马尔可夫链在任意时刻t的状态只依赖于前一时刻的状态，与其他时刻状态、观测和时刻t无关。
• 观测独立性假设——任意时刻的观测只依赖于该时刻的马尔可夫链的状态，与其他观测及状态无关。

（5）三个基本问题：

• 概率计算问题：给定模型和观测序列，计算在模型下观测序列出现的概率。——采用：前向算法、后向算法
• 学习问题：已知观测序列，估计模型中的参数，使得在该模型下观测序列概率最大，即用极大似然估计的方法估计参数。——采用：Baum-Welch算法，也就是EM算法可以高效地对隐马尔可夫模型进行训练。它是一种非监督学习算法。
• 预测问题：也称解码问题，已知模型和观测序列，求最可能的对应的状态序列。——采用：近似算法、维特比算法【维特比算法（Viterbi algorithm）应用动态规划高效地求解最优路径，即概率最大的状态序列。】

（6）观测序列的生成过程

• 输入：隐马尔可夫模型$\lambda =(A,B,\pi )$和观测序列长度T；
• 输出：观测序列$O=(o_1,o_2,\dots \dots ,o_T)$
• 算法实施步骤：a.按照初始分布$\pi$产生状态$i_1$；b.令t=1；c.根据$i_t$的观测概率分布$b_{i_t}(k)$生成$o_t$；d.按照$i_t$的状态转移概率分布{ $a_{i_t{i}_{t+1}}$}产生状态$i_{t+1}$；e.令$t=t+1$，如果$t<T$，转步骤c，否则停止。

2.概率计算算法

（1）直接计算

直接按照概率公式计算，公式为$$P(O|\lambda )=\sum _{I}P(O|I,\lambda )P(I|\lambda )=\sum _{i_1,i_2,...i_T}{\pi }_{i_1}{b}_{i_1}(o_1)a_{i_1{i}_2}{b}_{i_2}(o_2)...a_{i_{T-1}{i}_T}{b}_{i_T}(o_T)$$缺点：计算量很大，是$O(T{N}^T)$阶的

（2）前向算法

1）前向概率

给定隐马尔可夫模型$\lambda$，定义到时刻t部分观测序列为$o_1,o_2,...,o_t$且状态为$q_i$的概率为前向概率，记作：${\alpha }_t(i)=P(o_1,o_2,...,o_t,i_t=$