隐马尔可夫 观测序列概率 之后向算法

后向概率

后向概率与前向概率非常类似，也是基于动态规划的思想，下面介绍一下：

首先给出定义：定义(后向概率）给定隐马尔可夫模型 λ,定义在**时刻 t 状态为 q_i**的条件下，从t+1到T的部分观测序列为O_t+1, O_t+2, …， O_T的概率为后向概率，记作
可以用递推的方法求得后向概率β_t(i)及观测序列概率p(o|λ）,下面给出后向算法的算法流程。

• （1）初值
  
  根据定义，从T+1到T的部分观测序列其实不存在，所以硬性规定这个值是1。（这个很重要）
  神仙规定

• (2) 对t = T-1,T-2,…1
  （在学习的过程中一定要记住每个符号代表什么意思，做到心中有数，所以就不标明指什么了，让自己不断回忆）

• （3）
  
  最后的求和是因为，在第一个时间点上有N种后向概率都能输出从2到T的观测序列，所以乘上输出O1的概率后求和得到最终结果。

慢慢分析 ：

步骤（1）初始化后向概率，对最终时刻的所有状态 q_i 规定 β_T(i) = 1，其实前项概率和后向概率相当于起点和终点互换，因为隐马尔可夫第一个问题与观测序列计算的前后顺序无关，所以我们可以从前算，也可以从后算。

步骤（2）是后向概率的递推公式，如下图所示，
是不是很熟悉。步骤和思路是一样的。

一些概率与期望值的计算

利用前向概率和后向概率，可以得到关于单个状态和两个状态概率的计算公式。

1. 给定模型 λ 和观测 O， 在时刻 t 处于状态 q_i 的概率， 记
   可以通过前向后向概率计算，事实上。
   
   贝叶斯公式。
   由前向概率α_t(i) 和 后向概率 β_t(i) 定义可知：
   
   于是得到：
   

2. 给定模型λ 和观测 O， 在时刻 t 处于状态 q_i 且在时刻 t + 1处于状态 q_j 的概率， 记
   可以通过前向后向概率计算：
   
   由前后向概率定义可知，如下图，前向概率是当 t 时刻状态为 q_I , 前观测序列为 O_! , O₂ …O_t的概率，而后向概率是状态为 q_i ，而观测序列取后边的概率。二者结合：
   
   
   即为 t 时刻处于状态 q_i 和 观测序列为 O 的概率。于是得到：

解释一下分母， 其实就是指所有的状态下的 观测序列， 即 i = q_i 此时概率为 1.

2. 给定模型 λ 和观测 O ，在时刻 t 处于状态 q_i 且在时刻 t+ 1 处于状态 q_j 的概率， 记：
   可以通过前向后向概率计算：

还是灵活应用贝叶斯公式：

分母指的是把 t 时刻的状态可能与 t + 1时刻的状态可能组合起来。

而
其实也不是很难理解，其实就是将现有的概率组合起来构成左边式子的所有可能性。

所以

3. 将 γ_t(i) 和ξ _t(i, j) 对各个时刻 t 求和， 可以得到一些有用的期望值：