HMM(1)前向后向算法推导

HMM（1）前向后向算法推导

看了很多博客的HMM模型，自己做一个总结加固知识点的记忆。

1 HMM基础知识点

对于HMM模型，其主要是处理序列问题，并且该问题包括一个表象的观测序列和一个可能无法直接观察到的隐藏序列（或者叫状态序列），且这两个序列都是包括$T$个时刻的序列。观测序列的数学表达如式（1-1），状态序列的数学表达如式（1-2）：
O = { o 1 , o 2 , . . . , o T } (1-1) O=\lbrace o_1,o_2,...,o_T \rbrace \tag{1-1} O={o1​,o2​,...,oT​}(1-1) Q = { q 1 , q 2 , . . . , q T } (1-2) Q=\lbrace q_1,q_2,...,q_T \rbrace \tag{1-2} Q={q1​,q2​,...,qT​}(1-2)
对于观测序列的每一个$o_t$可以有$N$个不同的观测值，对于状态序列的每一个$q_t$可以有$M$个不同的状态值，具体的数学表达如下：
o t = { v 1 , v 2 , . . . , v N } (1-3) o_t=\lbrace v_1,v_2,...,v_N\rbrace\tag{1-3} ot​={v1​,v2​,...,vN​}(1-3) q t = { σ 1 , σ 2 , . . . , σ M } (1-4) q_t=\lbrace \sigma_1,\sigma_2,...,\sigma_M\rbrace\tag{1-4} qt​={σ1​,σ2​,...,σM​}(1-4)

HMM中有两个重要的假设：

1. 齐次马尔科夫链假设。也就是说任意时刻的隐藏状态都只和前一时刻的隐藏状态有关，如式（1-5）。因此产生了一个概念，就是隐状态转移概率，$a_{ij}$，表示隐藏状态从$t$时刻的状态$i$转换为$t+1$时刻的状态$j$的概率。每一个隐状态转移到另一个状态的概率集合可以通过状态转移矩阵来表示，如（1-6）。
   $$P(q_{t+1}|q_t,q_{t-1},q_{t-2},...,q_1)=P(q_t+1|q_t)\text{\hspace{1em}(1-5)}$$ A = [ a i j ] M × M ; i ∈ { 1 , 2 , . . . , M } , j ∈ { 1 , 2 , . . . , M } (1-6) A=[a_{ij}]_{M\times M} ;i\in\{1,2,...,M\},j\in\{1,2,...,M\}\tag{1-6} A=[aij​]M×M​;i∈{1,2,...,M},j∈{1,2,...,M}(1-6)
2. 观测独立性假设。也就是说任意时刻的观测状态只与当前时刻的隐藏状态有关，如式（1-7）。因此产生了一个概念，就是发射概率$b_j(k)$，表示在时刻$t$时隐藏状态$q_t$是$i_j$时，观测结果$o_t$是$v_k$的概率。每一个有状态到每一个不同的观测结果的发射概率的集合可以通过发射矩阵来表示，如（1-8）。
   $$P(o_t|q_t,q_{t-1},...,q_1)=P(o_t|q_t)\text{\hspace{1em}(1-7)}$$ B = [ b j ( k ) ] M × N ; j ∈ { 1 , 2 , . . . , M } , k ∈ { 1 , 2 , . . . , N } (1-8) B=[b_j(k)]_{M\times N};j\in\{1,2,...,M\},k\in\{1,2,...,N\}\tag{1-8} B=[bj​(k)]M×N​;j∈{1,2,...,M},k∈{1,2,...,N}(1-8)

除了上面的隐状态转移矩阵和发射矩阵，还需要一个在$t=1$时每一个隐藏状态的初始分布$\Pi$，如（1-9）所示。
Π = [ π ( i ) ] N ; π ( i ) = P ( q 1 = i ) ; i ∈ { 1 , 2 , . . . , M } (1-9) \Pi=[\pi(i)]_N;\pi(i)=P(q_1=i);i\in\{1,2,...,M\}\tag{1-9} Π=[π(i)]N​;π(i)=P(q1​=i);i∈{1,2,...,M}(1-9)
因此，一个HMM模型可以通过一个三元组$\lambda (A,B,\Pi )$来表示。

2 前向后向算法

前向和后向算法都是为了解决HMM中的第一个问题，即在观测序列$O$和模型参数$\lambda$都已知，状态序列$Q$未知的条件下求产生这样的观测序列的概率是多少，也就是求$P(O|\lambda )={\sum }_{Q}P(O,Q|\lambda )$。由于通过暴力搜索来计算每一种隐状态序列产生观测序列概率的复杂度很高，$\Theta (T{N}^T)$，所以需要通过前向后向算法来简化计算的复杂度，$\Theta (T{N}^2)$。

2-1 前向算法

前向算法的推导可以通过动态规划的思想逐步求解出来，首先我们定义前向概率，即观测序列是$o_1,o_2,...,o_t$,且$t$时刻的隐状态是${\sigma }_i$时的概率，数学表达如式（2-1）：
α t ( i ) = P ( o 1 , o 2 , . . . , o t , q t = σ i ∣ λ ) ; i ∈ { 1 , 2 , . . . , M } (2-1) \alpha_t(i)=P(o_1,o_2,...,o_t,q_t=\sigma_i|\lambda);i\in\{1,2,...,M\}\tag{2-1} αt​(i)=P(o1​,o2​,...,ot​,qt​=σi​∣λ);i∈{1,2,...,M}(2-1)
前向算法推导过程如下所示：
$$\begin{array}{rl}{\alpha }_{t+1}(i)& =P(o_1,o_2,...,o_t,o_{t+1},q_{t+1}={\sigma }_j|\lambda )\\ & =P(o_1,o_2,...,o_t,o_{t+1}|q_{t+1}={\sigma }_j,\lambda )P(q_{t+1}={\sigma }_j|\lambda )\\ & =P(o_1,o_2,...,o_t|q_{t+1}={\sigma }_j,\lambda )P(o_{t+1}|q_{t+1},\lambda )P(q_{t+1}={\sigma }_j|\lambda )\\ & =P(o_1,o_2,...,o_t,q_{t+1}={\sigma }_j|\lambda )P(o_{t+1}|q_{t+1},\lambda )\\ & =\sum _i^{M}P(o_1,o_2,...,o_t,q_t={\sigma }_i,q_{t+1}={\sigma }_j|\lambda )P(o_{t+1}|q_{t+1},\lambda )\\ & =\sum _i^{M}P(o_1,o_2,...,o_t,q_{t+1}={\sigma }_j|q_t={\sigma }_i,\lambda )P(q_t={\sigma }_i|\lambda )P(o_{t+1}|q_{t+1},\lambda )\\ & =\sum _i^{M}P(o_1,o_2,...,o_t|q_t={\sigma }_i,\lambda )P(q_{t+1}={\sigma }_j|q_t={\sigma }_i,\lambda )P(q_t={\sigma }_i|\lambda )P(o_{t+1}|q_{t+1},\lambda )\\ & =\sum _i^{M}P(o_1,o_2,...,o_t,q_t={\sigma }_i|\lambda )P(q_{t+1}={\sigma }_j|q_t={\sigma }_i,\lambda )P(o_{t+1}|q_{t+1},\lambda )\\ & =\left[\sum _i^M{\alpha }_t(i)a_{ij}\right]b_j(o_{t+1})\\ & =\left[\sum _i^M{\alpha }_t(i)\times 状态转移概率\right]\times 发射概率\end{array}$$
因此，问题一的最终结果是$P(O|\lambda )={\sum }_i^M{\alpha }_T(i)$,其中${\alpha }_T(i)$可以通过以上的公式推导逐步的计算出来。

2-2 后向算法

后向算法的推导和前向算法的思想一样，都是通过动态规划的思想逐步推导出最终结果。和前向概率一样，我们需要先定义一个后向概率如式（2-2）。
$${\beta }_{t+1}(j)=P(o_{t+2},o_{t+3},...,o_T|q_{t+1}={\sigma }_j,\lambda )\text{\hspace{1em}(2-2)}$$
后向算法推导过程如下所示：
$$\begin{array}{rl}{\beta }_t(i)& =P(o_{t+1},o_{t+2},...,o_T|q_t={\sigma }_i,\lambda )\\ & =\sum _j^{M}P(o_{t+1},o_{t+2},...,o_T,q_{t+1}={\sigma }_j|q_t={\sigma }_i,\lambda )\\ & =\sum _j^{M}P(o_{t+1},o_{t+2},...,o_T|q_{t+1}={\sigma }_j,q_t={\sigma }_i,\lambda )P(q_{t+1}={\sigma }_j|q_t={\sigma }_i,\lambda )\\ & =\sum _j^{M}P(o_{t+1},o_{t+2},...,o_T|q_{t+1}={\sigma }_j,\lambda )P(q_{t+1}={\sigma }_j|q_t={\sigma }_i,\lambda )\\ & =\sum _j^{M}P(o_{t+2},...,o_T|q_{t+1}={\sigma }_j,\lambda )P(q_{t+1}={\sigma }_j|q_t={\sigma }_i,\lambda )P(o_{t+1}|q_{t+1}={\sigma }_j,\lambda )\\ & =\sum _j^M{\beta }_{t+1}(j)a_{ij}{b}_j(o_{t+1})\\ & =\sum _j^M{\beta }_{t+1}(j)\times 状态转移概率\times 发射概率\end{array}$$
因此，问题一的最终结果是$P(O|\lambda )={\sum }_i\pi (i)b_i(o_1){\beta }_1(i)$,其中${\beta }_1(i)$可以通过以上的公式推导逐步的计算出来。

2-3 衍生公式推导

根据前向和后向算法我们可以推导出其他的公式。如式（2-3）所示，是在模型参数$\lambda$和观测序列$O$都已知的情况下，$t$时刻的隐状态是${\sigma }_i$的概率。
$$\begin{array}{rl}{\gamma }_t(i)& =P(q_t={\sigma }_i|O,\lambda )\\ & =\frac{P(O,q_t={\sigma }_i|\lambda )}{P(O|\lambda )}\\ & =\frac{P(o_1,o_2,...,o_T,q_t={\sigma }_i|\lambda )}{{\sum }_j^{M}P(o_1,o_2,...,o_T,q_t={\sigma }_j|\lambda )}\\ & =\frac{P(o_1,o_2,...,o_T|q_t={\sigma }_i,\lambda )P(q_t={\sigma }_i|\lambda )}{{\sum }_j^{M}P(o_1,o_2,...,o_T|q_t={\sigma }_j,\lambda )P(q_t={\sigma }_j|\lambda )}\\ & =\frac{P(o_1,o_2,...,o_t,q_t={\sigma }_i|\lambda )P(o_{t+1},o_{t+2},...,o_T|q_t={\sigma }_i,\lambda )}{{\sum }_j^{M}P(o_1,o_2,...,o_t,q_t={\sigma }_j|\lambda )P(o_{t+1},o_{t+2},...,o_T|q_t={\sigma }_j,\lambda )}\\ & =\frac{{\alpha }_t(i){\beta }_t(i)}{{\sum }_j^M{\alpha }_t(j){\beta }_t(j)}\end{array}\text{\hspace{1em}(2-3)}$$
如式(2-4)所示，在模型参数$\lambda$和观测序列$O$都已知的情况下，$t$时刻的隐状态是${\sigma }_i$，$t+1$时刻的隐状态是${\sigma }_j$的概率。
$$\begin{array}{rl}{\xi }_t(i,j)& =P(q_t={\sigma }_i,q_{t+1}={\sigma }_j|O,\lambda )\\ & =\frac{P(q_t={\sigma }_i,q_{t+1}={\sigma }_j,O|\lambda )}{P(O|\lambda )}\\ & =\frac{P(o_1,o_2,...,o_T,q_t={\sigma }_i,q_{t+1}={\sigma }_j|\lambda )}{{\sum }_s^M{\sum }_r^{M}P(o_1,o_2,...,o_T,q_t={\sigma }_s,q_{t+1}={\sigma }_r|\lambda )}\\ & =\frac{P(o_1,o_2,...,o_T,q_t={\sigma }_i|q_{t+1}={\sigma }_j,\lambda )P(q_{t+1}={\sigma }_j|\lambda )}{{\sum }_s^M{\sum }_r^{M}P(o_1,o_2,...,o_T,q_t={\sigma }_s,q_{t+1}={\sigma }_r|\lambda )}\\ & =\frac{P(o_1,o_2,...,o_t,q_t={\sigma }_i|q_{t+1}={\sigma }_j,\lambda )P(o_{t+1},o_{t+2},...,o_T|q_{t+1}={\sigma }_j,\lambda )P(q_{t+1}={\sigma }_j|\lambda )}{{\sum }_s^M{\sum }_r^{M}P(o_1,o_2,...,o_T,q_t={\sigma }_s,q_{t+1}={\sigma }_r|\lambda )}\\ & =\frac{P(o_1,o_2,...,o_t,q_t={\sigma }_i,q_{t+1}={\sigma }_j|\lambda )P(o_{t+1}|q_{t+1}={\sigma }_j,\lambda )P(o_{t+2},o_{t+3},...,o_T|q_{t+1}={\sigma }_j,\lambda )}{{\sum }_s^M{\sum }_r^{M}P(o_1,o_2,...,o_T,q_t={\sigma }_s,q_{t+1}={\sigma }_r|\lambda )}\\ & =\frac{P(o_1,o_2,...,o_t,q_{t+1}={\sigma }_j|q_t={\sigma }_i,\lambda )P(q_t={\sigma }_i|\lambda )P(o_{t+1}|q_{t+1}={\sigma }_j,\lambda )P(o_{t+2},o_{t+3},...,o_T|q_{t+1}={\sigma }_j,\lambda )}{{\sum }_s^M{\sum }_r^{M}P(o_1,o_2,...,o_T,q_t={\sigma }_s,q_{t+1}={\sigma }_r|\lambda )}\\ & =\frac{P(o_1,o_2,...,o_t,q_t={\sigma }_i|\lambda )P(q_{t+1}={\sigma }_j|q_t={\sigma }_i)P(o_{t+1}|q_{t+1}={\sigma }_j,\lambda )P(o_{t+2},o_{t+3},...,o_T|q_{t+1}={\sigma }_j,\lambda )}{{\sum }_s^M{\sum }_r^{M}P(o_1,o_2,...,o_T,q_t={\sigma }_s,q_{t+1}={\sigma }_r|\lambda )}\\ & =\frac{{\alpha }_t(i)a_{ij}{b}_j(o_{t+1}){\beta }_{t+1}(j)}{{\sum }_s^M{\sum }_r^M{\alpha }_t(s)a_{sr}{b}_r(o_{t+1}){\beta }_{t+1}(r)}\end{array}\text{\hspace{1em}(2-4)}$$