2.概率计算算法_前项算法最大概率一样怎么算-CSDN博客

本文链接：https://blog.csdn.net/m0_62003092/article/details/128254978

01 引言

$直接计算法计算量太大，是O(TN^T)阶的，这种算法不可行。$

下面介绍计算观测序列概率P(O|λ)的有效算法：前向-后向算法（forward-backward algorithm）

前向后向算法就是来帮助我们在较低的时间复杂度情况下求解这个问题的。

02. 前向算法

对于隐马尔可夫模型第一个基本问题，在介绍前向算法之前，先介绍前向概率。
$观测\\序列为o_1,o_2,...,o_t 且状态为q_i的概率为前向概率,记为：\\ \alpha_t(i)=P(o_1,o_2,...,o_t,i_t=q_i|\lambda)$
可以根据数据对前向概率公式进行递推，并最终得到观测序列概率P(O|λ). 前向概率算法就是根据前向概率递推公式进行计算的，输入为隐马尔可夫模型和观测序列，输出的结果为序列概率P(O|λ). 计算的步骤为：

(1) 根据前向概率公式，先设定 t = 1的初值：
$在t=1时,且给定\lambda条件下，i_1的状态为q_i且观测为o_1的概率为：\\ \alpha_1(i)=P(o_1,i_1=q_i|\lambda)\\ =P(i_1=q_i|\lambda)\ast P(o_1|i_1=q_i|\lambda)\\ =c_ib_i(o_1) , i=1,2,...,N$

$C_i=P(i_1=q_i)\\ b_j(v_k)=P(o_t=v_k|i_t=q_j)\\ P(A,B)=P(B)\ast P(A|B)\\ P(A,B|C)=P(B|C)\ast P(A|B|C)$

(2) 根据前向概率公式对前向概率进行递推，因此对t=1,2,…,N-1有：
$\alpha_{t+1}(i)=[\sum_{j=1}^N \alpha_t(j)a_{ji}]\ast b_i(o_{t+1}), i=1,2,...,N$

$解释：\alpha_{2}(i) \\ \alpha_{1}(i)= \begin{bmatrix} \alpha_{1}(1) \\ ... \\ \alpha_{1}(N) \\ \end{bmatrix}$

$【\sum_{j=1}^N\alpha_1(j)a_{ji}】:\alpha_1(j=1)乘以状态转移矩阵A_1的第一整列 (即，乘以a_{1i})，一直加\\到\alpha_1(N)乘以状态转移矩阵A_1的第N整列。然后，再乘以,在状态i_2=q_i时，\\观测为o_2的概率$

(3) 最后对所有的前向概率进行求和得到最终的结果，即为：
$P(O|\lambda)=\sum_{i=1}^N\alpha_T(i)$

该算法所表示的递推关系图为：

在这里插入图片描述

步骤(1):
$初始化前向概率，是初始时刻的状态i_1 = q_1和观测o_1的联合概率。$

步骤(2):
$是前向概率的递推公式，计算到时刻t+1部分观测序列为o_1,o_2,..., o_t,o_{t+1} 且在时刻\\t+1处于状态q_i的前向概率。如上图所示，既然 \alpha_t(j)是得到时刻t观测到o_1,o_2,...,o_t\\并在时刻t处于状态的q_j前向概率，那么乘积\alpha_t(j)a_{ji}就是到时刻t观测到o_1,o_2,...,o_t并\\在是时刻 t处于q_j状态而在时刻t+1到达q_i状态的联合概率。对于这个乘积在时刻t的\\所有可能的N个状态q_j求和，其结果就是到时刻t观测为o_1,o_2,..., o_t，并在时刻t+1\\处于状态q_i的联合概率。方括号里的值与观测概率 b_i(o_{t+1})的乘积恰好是时刻t+1观\\测到o_1,o_2,...,o_t,o_{t+1}并在时刻 t+1处于状态q_i的前向概率\alpha_{t+1}(j)。$
步骤(3):
$计算出P(O|\lambda)的结果。\\ \alpha_T(i)=P(o_1,o_2,...,o_T,i_T=q_i|\lambda)\\ P(O|\lambda)=\sum_{i=1}^N\alpha_T(i)$

$在时刻t=1，计算\alpha_1(i)的N个值(i=1,2,...,N);在各个时刻t=1, 2,...,T-1,计算\alpha_{t+1}(i)\\的N个值(i=1,2,...,N),而且每个\alpha_{t+1}(i) 的计算利用前一时刻N个\alpha_{t}(i)。减少计算量的\\原因在于每一次计算直接引用前一个时刻的计算结果，避免重复计算。\\$

03. 举个小栗子

问题：考虑盒子和球模型λ=(A,B,C)，状态集合Q = { 1 , 2 , 3 } ，观测集合V = { 红 , 白 }

$\begin{bmatrix} 0.5 & 0.2 & 0.3\\ 0.3 & 0.5 & 0.2\\ 0.2 & 0.3 & 0.5\\ \end{bmatrix}， B= \begin{bmatrix} 0.5 & 0.5 \\ 0.4 & 0.6 \\ 0.7 & 0.3\\ \end{bmatrix}， C= \begin{bmatrix} 0.2 \\ 0.4 \\ 0.4 \\ \end{bmatrix}$
设T=3，O=(红,白,红),试用前向算法计算P(O|λ)。

(1)计算初值
$\alpha_{1}(1)=C_1b_1(o_1)=0.2*0.5=0.10\\ \alpha_{1}(2)=C_2b_2(o_1)=0.4*0.4=0.16\\ \alpha_{1}(3)=C_3b_3(o_1)=0.4*0.7=0.28$
(2)递推计算

$\alpha_2(1)=[\sum_{i=1}^3 \alpha_1(i)a_{i1}]b_1(o_{2})\\=[0.1*0.5+0.16*0.3+0.28*0.2]*0.5=0.077\\ \alpha_2(2)=[\sum_{i=1}^3 \alpha_1(i)a_{i2}]b_2(o_{2})=0.1104\\ \alpha_2(3)=[\sum_{i=1}^3 \alpha_1(i)a_{i3}]b_3(o_{2})=0.0606\\ \alpha_3(1)=[\sum_{i=1}^3 \alpha_2(i)a_{i1}]b_1(o_{3})=0.04187\\ \alpha_3(2)=[\sum_{i=1}^3 \alpha_2(i)a_{i2}]b_2(o_{3})=0.03551\\ \alpha_3(3)=[\sum_{i=1}^3 \alpha_2(i)a_{i3}]b_3(o_{3})=0.05284$

(3)终止
$P(O|\lambda)=\sum_{i=1}^3\alpha_3(i)=0.13022$

04. 后向算法

在介绍后向算法之前，先介绍后向概率。
$后向概率：在给定隐马尔科夫模型λ=（A,B,C），定义到时刻t部分状态\\ 为q_i的条件下，从t+1到T的部分观测序列为o_{t+1},o_{t+2},...,o_T的概率为\\后向概率,记为：\\ \beta_t(i)=P(o_{t+1},o_{t+2},...,o_T|i_t=q_i,\lambda)$
可以根据数据对后向概率公式进行递推，并最终得到观测序列概率P(O|λ). 后向概率算法就是根据后向概率递推公式进行计算的，输入为隐马尔可夫模型λ和观测序列O，输出的结果为序列概率P(O|λ). 计算的步骤为：

(1) 根据后向概率公式，先设定 t = T的初值：
$在t=T时,i_T的状态为q_i且给定\lambda条件下，观测为o_T的概率为：\\ \beta_T(i)=P(o_T|i_T=q_i,\lambda)=1, i=1,2,...,N$

$全概思想：P(o_T|i_T=q_i)=P(o_T|i_T=q_1)+P(o_T|i_T=q_2)+...\\ +P(o_T|i_T=q_T)=1$

(2) 对t=T-1,T-2,…,1有：
$\beta_{t}(i)=\sum_{j=1}^N a_{ij}\ast b_j(o_{t+1})\ast\beta_{t+1}(j), i=1,2,...,N\\ b_j(v_k)=P(o_t=v_k|i_t=q_j)\\ a_{ij}=P(i_{t+1}=q_j|i_{t}=q_i)\\$
(2) 有：
$P(O|\lambda)=\sum_{i=1}^N C_{i}b_i(o_{1})\beta_{1}(i)$

公式证明：
$知识补充：o_{t+1}^T=o_{t+1},o_{t+2},...,o_T\\P(A|B)=\frac{P(A,B)}{P(B)} , \sum_{j=1}^N P(i_t=q_i)=1\\$

在这里插入图片描述

该算法所表示的递推关系图为：

请添加图片描述

步骤(1):
$初始化后向概率，对最终时刻的所有状态q_i规定\beta_T(i)=1。$

步骤(2):
$是后向概率的递推公式，如上图所示，为了计算在时刻t状态为q_i条件下时刻t+1之后\\的观测序列为o_{t+1},o_{t+2},...,o_{T}的后向概率\beta_t(i), 只需考虑在时刻t+1所有可能的N个\\状态q_j的转移概率(即，a_{ij}项) 以及在此状态下的观测o_{t+1}的观测概率(即，b_j(o_{t+1})项)，\\然后考虑状态q_j之后的观测序列的后向概率(即，\beta_{t+1}(j)项)。\\$
步骤(3):
$求P(O|\lambda)的思路与步骤(2)一致，只是初始概率C_i代替转移概率。\\$