什么是前向算法-CSDN博客

本文链接：https://blog.csdn.net/u013172930/article/details/144221686

前向算法（Forward Algorithm）

前向算法是一种动态规划算法，用于在隐马尔可夫模型（HMM）中计算给定观测序列的概率。这是 HMM 的第一个核心问题，即：在模型参数已知的情况下，计算一个观测序列 $\{o_1, o_2, \dots, o_T\}$ 的概率 $\mid \lambda)$ ，其中 $\lambda$ 表示 HMM 的参数。

问题描述

我们想知道，在一个隐马尔可夫模型中，产生观测序列 $O$ 的概率 $P (O)$ 是多少。这个概率可以通过将所有可能的隐状态路径 $\{q_1, q_2, \dots, q_T\}$ 的联合概率求和得到：

$\sum_{Q} P(O, Q)$

但直接计算所有可能的隐状态路径的联合概率是非常困难的，因为隐状态数量随着时间步数呈指数增长（对于 $N$ 个状态，路径数为 $N^T$ ）。

前向算法的思想

前向算法通过动态规划避免了对所有隐状态路径的穷举计算，显著降低了复杂度。它通过递归地计算“前向概率”，一步步将问题分解到更小的子问题。

前向概率定义

定义前向概率 $\alpha_t(i)$ 为：
$\alpha_t(i) = P(O_1, O_2, \dots, O_t, S_t = s_i \mid \lambda)$
即，在时间 $t$ 时，部分观测序列 $O_1, O_2, \dots, O_t$ 以及隐状态为 $S_t = s_i$ 的概率。

递推公式

前向算法的递推过程可以分为以下三步：

1. 初始化

在时间 $t = 1$ ，前向概率是：
$\alpha_1(i) = \pi_i \cdot b_i(o_1), \quad \forall i = 1, 2, \dots, N$
其中：

$\pi_i$ 是初始状态分布，表示隐状态为 $s_i$ 的初始概率。
$b_i(o_1)$ 是在隐状态 $s_i$ 下生成观测 $o_1$ 的概率。

2. 递推

对于 $\dots, T$ ，前向概率通过以下公式递归计算：
$\alpha_t(j) = \left[ \sum_{i=1}^N \alpha_{t-1}(i) \cdot a_{ij} \right] \cdot b_j(o_t), \quad \forall j = 1, 2, \dots, N$
其中：

$\alpha_{t-1}(i)$ 是时间 $t - 1$ 时隐状态为 $s_i$ 的前向概率。
$a_{ij}$ 是从隐状态 $s_i$ 转移到隐状态 $s_j$ 的转移概率。
$b_j(o_t)$ 是在隐状态 $s_j$ 下生成观测 $o_t$ 的概率。

3. 终止

在时间 $t = T$ （观测序列的最后一个时刻），总的观测序列概率为：
$\mid \lambda) = \sum_{i=1}^N \alpha_T(i)$
即，将所有隐状态在最后一个时间步的前向概率相加。

算法流程

假设：

$N$ 是隐状态数量。
$T$ 是观测序列长度。

输入：HMM 参数 $\lambda = (\pi, A, B)$ 和观测序列 $O$ 。
初始化：
$\alpha_1(i) = \pi_i \cdot b_i(o_1), \quad \forall i = 1, 2, \dots, N$
递推：
对 $\dots, T$ ：
$\alpha_t(j) = \left[ \sum_{i=1}^N \alpha_{t-1}(i) \cdot a_{ij} \right] \cdot b_j(o_t)$
终止：
$\mid \lambda) = \sum_{i=1}^N \alpha_T(i)$
输出：观测序列的概率 $\mid \lambda)$ 。