隐马尔可夫模型之预测算法

隐马尔可夫模型之HMM基础
隐马尔可夫模型之评估观察序列概率
隐马尔可夫模型之学习算法
隐马尔可夫模型之预测算法
隐马尔可夫模型之python实战

预测算法主要有两种：

• 近似算法
• 维特比算法

近似算法

近似算法的思想是，在每个时刻t选择在该时刻最有可能出现的状态$i_t^{\ast }$,从而得到一个状态序列$I^{\ast }=(i_1^{\ast },i_2^{\ast },\dots ,i_T^{\ast })$,将它作为预测的结果。

给定隐马尔可夫模型$\lambda$和观测序列O，在时刻t处于状态$q_i$的概率${\gamma }_t(i)$是
$${\gamma }_t(i)=\frac{{\alpha }_t(i){\beta }_t(i)}{P(O|\lambda )}=\frac{{\alpha }_t(i){\beta }_t(i)}{{\sum }_{j=1}^N{\alpha }_t(j){\beta }_t(j)}$$

在每一时刻t最有可能出现的状态$i_t^{\ast }$是：
$$i_t^{\ast }=arg\underset{1\le i\le N}{\underbrace{max}}[{\gamma }_t(i)],t=1,2,\dots \dots ,T$$

从而得到状态序列$I^{\ast }=(i_1^{\ast },i_2^{\ast },\dots ,i_T^{\ast })$

维特比算法

维特比算法实际是用动态规划解马尔可夫模型预测的问题，即用动态规划求概率最大路径（最优路径）。这时一条路径对应着一个状态序列。

根据动态规划原理，最优路径具有这样的性质：如果最优路径在时刻t通过结点$i_t^{\ast }$，那么这一路径从结点$i_t^{\ast }$到终点$i_T^{\ast }$的部分路径，对于从$i_t^{\ast }$到$i_T^{\ast }$的所有可能部分路径来说，必须是最优的。因为假如不这样，那么从$i_t^{\ast }$到$i_T^{\ast }$就有一条更好的部分路径存在，如果把他和从$i_t^{\ast }$到$i_T^{\ast }$的部分路径连接起来，就会形成一条比原来更优的路径，那么这是矛盾的。

依据这一原理，我们只需要从时刻t=1开始，递推的计算时刻t状态为i的各条部分路径的最大概率，直至得到时刻t=T状态为i的各条路径的最大概率。时刻t=T的最大概率即为最优路径的概率$P^{\ast }$,最优路径的终结点$i_T^{\ast }$也同时得到。之后，为了找出最优路径的各个节点，从终结点$i_T^{\ast }$开始，由后向前逐步求得结点$i_{T-1}^{\ast },\dots \dots ,i_1^{\ast }$，这就是维特比算法。

首先导入两个变量$\delta$和$\Psi$。定义在时刻t状态为i的所有单个路径$(i_1,i_2,\dots \dots ,i_t)$中概率最大值为
${\delta }_t(i)=\underset{i_1,i_2,\dots \dots ,i_{t-1}}{\underbrace{max}}P(i_t=i,i_{t-1},\dots ,i_1,o_t,\dots ,o_1|\lambda )，i=1,2,\dots ,N$

由上定义可得变量$\delta$的递推公式：
${\delta }_{t+1}(i)=\underset{i_1,i_2,\dots \dots ,i_t}{\underbrace{max}}P(i_t=i,i_t,\dots ,i_1,o_{t+1},\dots ,o_1|\lambda )，i=1,2,\dots ,N;t=1,2,\dots ,T-1$

定义在时刻t状态为i的所有单个路径$(i_1,i_2,\dots \dots ,i_{t-1},i)$中概率最大的路径的第t-1个结点为
${\Psi }_t(i)=arg\underset{1\le i\le N}{\underbrace{max}}[{\delta }_{t-1}(j)a_{ij}]，i=1,2,\dots ,N$

算法

输入：模型$\lambda =(A,B,\pi )$和观测$O=(o_1,o_2,\dots \dots ,o_T)$；
输出：最优路径$I^{\ast }=(i_1^{\ast },i_2^{\ast },\dots ,i_T^{\ast })$

1. 初始化
   ${\delta }_1(i)={\pi }_i{b}_i(o_1)，i=1,2,\dots ,N$
   ${\Psi }_t(i)=0，i=1,2,\dots ,N$

2. 递推。对$t=2，3,\dots ,T$
   ${\delta }_t(i)=\underset{1\le i\le N}{\underbrace{max}}[{\delta }_{t-1}(j)a_{ij}]b_i(o_t)，i=1,2,\dots ,N$
   ${\Psi }_t(i)=arg\underset{1\le i\le N}{\underbrace{max}}[{\delta }_{t-1}(j)a_{ij}]，i=1,2,\dots ,N$

3. 终止
   $P^{\ast }=\underset{1\le i\le N}{\underbrace{max}}{\delta }_T(i)$
   $i_T^{\ast }=arg\underset{1\le i\le N}{\underbrace{max}}{\delta }_T(i)$

4. 最优路径回溯。对$t=T-1,T-2,\dots ,1$
   $i_t^{\ast }={\Psi }_{t+1}(i_{t+1}^{\ast })$
   求得最优路径$I^{\ast }=(i_1^{\ast },i_2^{\ast },\dots ,i_T^{\ast })$

实例

使用前面的例子：
初始状态分布为：
$\Pi =(0.2,0.4,0.4{)}^T$

状态转移概率分布矩阵为：

$A=\left(\begin{array}{ccc}0.5& 0.2& 0.3\\ 0.3& 0.5& 0.2\\ 0.2& 0.3& 0.5\end{array}\right)$

观测状态概率矩阵为：

$B=\left(\begin{array}{cc}0.5& 0.5\\ 0.4& 0.6\\ 0.7& 0.3\end{array}\right)$

已知观测序列$O=(\text{红，白，红})$，试求最优状态序列，即最优路径$I^{\ast }=(i_1^{\ast },i_2^{\ast },i_3^{\ast })$

解：

初始化：
在t=1时，对每一个状态i,$i=1,2,3$，求状态为i观测我为$o_1$为红的概率，记此概率为${\delta }_1(i)$,则

${\delta }_1(i)={\pi }_i{b}_i(o_1),i=1,2,3$

带入数据
${\delta }_1(1)={\pi }_1{b}_1(o_1)=0.2\times 0.5=0.1$
${\delta }_1(2)={\pi }_2{b}_2(o_1)=0.4\times 0.4=0.16$
${\delta }_1(3)={\pi }_3{b}_3(o_1)=0.4\times 0.7=0.28$

${\Psi }_1(1)={\Psi }_1(2)={\Psi }_1(3)=0$

递推：
t=2时，对于每个状态$i,i=1,2,3$,求在t=1时状态为j观测为红并在t=2时刻状态为i观测$o_2$为白的路径的最大概率，记此最大概率为${\delta }_2(i)$,则

${\delta }_t(i)=\underset{1\le i\le 3}{\underbrace{max}}[{\delta }_1(j)a_{ji}]b_i(o_2)$

带入实际数据

${\delta }_2(1)=\underset{1\le i\le 3}{\underbrace{max}}[{\delta }_1(j)a_{j1}]b_1(o_2)=\underset{1\le i\le 3}{\underbrace{max}}[0.1\times 0.5,0.16\times 0.3,0.28\times 0.2]\times 0.5=0.028$

${\Psi }_2(1)=3$

${\delta }_2(2)=\underset{1\le i\le 3}{\underbrace{max}}[{\delta }_1(j)a_{j2}]b_2(o_2)=\underset{1\le i\le 3}{\underbrace{max}}[0.1\times 0.2,0.16\times 0.5,0.28\times 0.3]\times 0.6=0.0504$

${\Psi }_2(2)=3$

${\delta }_2(3)=\underset{1\le i\le 3}{\underbrace{max}}[{\delta }_1(j)a_{j3}]b_3(o_2)=\underset{1\le i\le 3}{\underbrace{max}}[0.1\times 0.3,0.16\times 0.2,0.28\times 0.5]\times 0.3=0.042$

${\Psi }_2(3)=3$

同理t=3时

${\delta }_3(1)=\underset{1\le i\le 3}{\underbrace{max}}[{\delta }_1(j)a_{j1}]b_1(o_3)=\underset{1\le i\le 3}{\underbrace{max}}[0.028\times 0.5,0.0504\times 0.3,0.042\times 0.2]\times 0.5=0.00756$

${\Psi }_3(1)=2$

${\delta }_3(2)=\underset{1\le i\le 3}{\underbrace{max}}[{\delta }_1(j)a_{j2}]b_2(o_3)=\underset{1\le i\le 3}{\underbrace{max}}[0.028\times 0.2,0.0504\times 0.5,0.042\times 0.3]\times 0.4=0.01008$

${\Psi }_3(2)=2$

${\delta }_3(3)=\underset{1\le i\le 3}{\underbrace{max}}[{\delta }_1(j)a_{j3}]b_3(o_3)=\underset{1\le i\le 3}{\underbrace{max}}[0.028\times 0.3,0.0504\times 0.2,0.042\times 0.5]\times 0.7=0.0147$

${\Psi }_3(3)=3$

终止：

以$P^{\ast }$表示最优路径概率，则
$$P^{\ast }=\underset{1\le i\le 3}{\underbrace{max}}{\delta }_3(i)=0.0147$$

最优路径终点是$i_3^{\ast }$
$i_3^{\ast }=arg\underset{i}{\underbrace{max}}[{\delta }_3(i)]=3$

回溯：
由最优路径的终点$i_3^{\ast }$，逆向找到$i_2^{\ast }$，$i_1^{\ast }$
$t=2,i_2^{\ast }={\Psi }_3(i_3^{\ast })={\Psi }_3(3)=3$
$t=1i_1^{\ast }={\Psi }_2(i_2^{\ast })={\Psi }_2(3)=3$

从而得到最终的最可能的隐藏状态序列为：$I^{\ast }=(i_1^{\ast },i_2^{\ast },i_3^{\ast })=(3,3,3)$