隐马尔科夫模型HMM（二）前向后向算法评估观察序列概率

最新推荐文章于 2023-04-29 19:03:02 发布

lgy54321

最新推荐文章于 2023-04-29 19:03:02 发布

阅读量388

点赞数 1

分类专栏： NLP 机器学习算法

本文链接：https://blog.csdn.net/lgy54321/article/details/95389230

版权

本文深入探讨隐马尔科夫模型（HMM）中求解观测序列概率的问题，介绍暴力求解方法及前向、后向算法的原理与实现。通过实例解析，展示了如何运用前向算法计算观测序列概率，并阐述了后向算法的递推过程，为HMM常见概率计算奠定基础。

摘要由CSDN通过智能技术生成

HMM问题一：求观测序列的概率

首先我们回顾下HMM模型的问题一。这个问题是这样的。我们已知HMM模型的参数 $\lambda = (A, B, \Pi)$ 。其中A是隐藏状态转移概率的矩阵，B是观测状态生成概率的矩阵， Π是隐藏状态的初始概率分布。同时我们也已经得到了观测序列 $O =\{o_1,o_2,...o_T\}$ ,现在我们要求观测序列O在模型λ下出现的条件概率P(O|λ)。

暴力求解

乍一看，这个问题很简单。因为我们知道所有的隐藏状态之间的转移概率和所有从隐藏状态到观测状态生成概率，那么我们是可以暴力求解的。

我们可以列举出所有可能出现的长度为T的隐藏序列 $I = \{i_1,i_2,...,i_T\}$ ,分布求出这些隐藏序列与观测序列 $O =\{o_1,o_2,...o_T\}$ 的联合概率分布P(O,I|λ)，这样我们就可以很容易的求出边缘分布P(O|λ)了。

具体暴力求解的方法是这样的：首先，任意一个隐藏序列 $I = \{i_1,i_2,...,i_T\}$ 出现的概率是：
$P(I|\lambda) = \pi_{i_1} a_{i_1i_2} a_{i_2i_3}... a_{i_{T-1}\;\;i_T}$
对于固定的状态序列 $I = \{i_1,i_2,...,i_T\}$ ，我们要求的观察序列 $O =\{o_1,o_2,...o_T\}$ 出现的概率是：
$\lambda) = b_{i_1}(o_1)b_{i_2}(o_2)...b_{i_T}(o_T)$
　　　　则O和I联合出现的概率是：
$P(O,I|\lambda) = P(I|\lambda)P(O|I, \lambda) = \pi_{i_1}b_{i_1}(o_1)a_{i_1i_2}b_{i_2}(o_2)...a_{i_{T-1}\;\;i_T}b_{i_T}(o_T)$
　　　　然后求边缘概率分布，即可得到观测序列O在模型λ下出现的条件概率P(O|λ)：
$P(O|\lambda) = \sum\limits_{I}P(O,I|\lambda) = \sum\limits_{i_1,i_2,...i_T}\pi_{i_1}b_{i_1}(o_1)a_{i_1i_2}b_{i_2}(o_2)...a_{i_{T-1}\;\;i_T}b_{i_T}(o_T)$