机器学习笔记之隐马尔科夫模型(四)

预测算法

1.1 近似算法

近似算法的想法是，在每个时刻 $t$ 选择在该时刻最有可能出现的状态 $i^*_t$, 从而得到一个状态序列 $I^* = (i^*_1,i^*_2,\cdots,i^*_T)$，将它作为预测的结果.

给定隐马尔科夫模型 $\lambda$ 和观测序列 $O$，在时刻 $t$ 处于状态 $q_i$ 的概率 $\gamma_t(i)$ 是:

$$\gamma_t(i) = \frac{\alpha_t(i)\beta_t(i)}{P(O|\lambda)} = \frac{\alpha_t(i)\beta_t(i)}{\sum_{j=1}^N \alpha_t(j) \beta_t(j)}$$

在每一时刻 $t$ 最有可能的状态 $i^*_t$ 是

$$i^*_t = argmax_{1\le i \le N}[\gamma_t(i)], t = 1,2,\cdots, T$$

从而得到状态序列 $I^* = (i^*_1,i^*_2,\cdots,i^*_T)$

近似算法的优点是计算简单，其缺点是不能保障预测的状态序列整体是最有可能的状态序列，因为预测的状态序列可能有实际不发生的部分。事实上，上述方法得到的状态序列有可能存在转移概率为 0 的相邻状态，即对某些 $i,j, a_{ij} = 0$ 时，尽管如此，近似算法仍然是有用的。

1.2 维特比算法(Viterbi algorithm)

维特比算法实际是用动态规划解隐马尔科夫模型预测问题，即用动态规划求概率最大路径，这时一条路径对应着一个状态序列。

最优路径有这样的特性：如果最优路径在时刻 $t$ 通过结点 $i^*_t$, 那么这一条路径从结点 $i^*_t$ 到终点 $i^*_T$ 的部分路径，对于从 $i^*_t$ 到 $i^*_T$ 的所有可能的部分路径来说，必须是最优的。因为如果不是这样的话，那么就会存在另外一条比当前更优的路径，这样的话，和之前定义的最优路径相矛盾了。
根据动态规划的原理，我们只需从时刻 $t=1$ 开始，递推地计算在时刻 $t$ 状态为 $i$ 的各部分路径的最大概率，直至得到时刻 $t = T$ 状态为 $i$ 的各条路径的最大概率。时刻 $t = T$ 的最大概率即为最优路径的概率 $P*$, 最优路径的终结点 $i^*_T$ 也同时得到。之后，为了找出最优路径的各个结点，从终结点 $i^*_T$ 开始，由后向前逐步求得 $i^*_{T-1},\cdots,i^*_1$，就得到了最优路径 $I^*$,这就是维特比算法的思想

首先，导入两个变量 $\delta$ 和 $\psi$， 定义在时刻 $t$ 状态为 $i$ 的所有单个路径 $(i_1,i_2,\cdots,i_T)$ 中概率的最大值为：

$$\delta_{t+1}(i) = max_{i_1,i_2,\cdots,i_T} P(i_t = i,i_{t-1},\cdots,i_1,o_t,\cdots,o_1 | \lambda)$$
由定义知：
$$\delta_{t+1}(i) = max_{1 \le j \le N}[\delta_t(j)a_{ji}]b_i(o_{t+1})$$

定义在时刻 $t$ 状态为 $i$的所有单个路径 $(i_1,i_2,\cdots,i_{t-1},i)$ 中概率最大的路径的第 $t-1$ 个结点为：

$$\psi_t(i) = argmax_{1 \le j \le N}[\delta_{t-1}(j)a_{ji}] , i = 1,2,\cdots,N$$

具体过程为：

输入: 模型 $\lambda = (A,B,\pi)$ 和观测 $O = (o_1,o_2,\cdots,o_T)$
输出: 最优路径 $I^* = (i^*_1,\cdots,i^*_T)$

1. 初始化：
   

   $$\delta_1(i) = \pi_ib_i(o_1), i = 1,2,\cdots,N$$
   $$\psi_1(i) = 0, i = 1,2,\cdots,N$$

2. 递推，对 $t = 2,3,\cdots,T$

$$\delta_t(i) = max_{i \le j \le N} [\delta_{t-1}a_{ji}]b_i(o_t), i = 1,2,\cdots,N$$

$$\psi_t(i) = argmax_{1 \le j \le N}[\delta_{t-1}(j)a_{ji}] , i = 1,2,\cdots,N$$

1. 终止
   

   $$P^* = max_{1 \le i \le N} \delta_T(i)$$
   $$i^*_T = argmax_{1 \le i \le N}[\delta_T(i)]$$

2. 最优路径的回溯，对 $t = T-1,T-2,\cdots,1$

$$i^*_t = \psi_{t+1}(i^*_{t+1})$$

参考《统计学方法》上面的例题，写了一个代码如下

#include<iostream>
#include<cmath>
#include<vector>
#include<string>
#include<sstream>
#include<cstring>
#include<algorithm>


using namespace std;


int main()
{

  double A[3][3] = {0.5,0.2,0.3,0.3,0.5,0.2,0.2,0.3,0.5};

  double B[3][2] = {0.5,0.5,0.4,0.6,0.7,0.3};

  double pi[3] = {0.2,0.4,0.4};

  double sigma[3][3];

  int psi[3][3];

  int O[3] = {0,1,0};

  int T = 3;

  for (int i = 0; i < 3; ++i) {
    sigma[0][i] = pi[i]*B[i][O[0]];
  }

  vector<int>path;
  int best = 0;
  for (int t = 1; t < T; ++t) {
    for (int i = 0; i < 3; ++i) {
      for (int j = 0; j < 3; ++j) {
         if (sigma[t][i] < sigma[t-1][j]*A[j][i]*B[i][O[t]]) {
              sigma[t][i] = sigma[t-1][j] * A[j][i] * B[i][O[t]];
              psi[t][i] = j;
              best = j;
         }
      }
    }
  }

  for (int i = 2; i >= 0; --i) {
    cout<<best+1<<' ';
    best = psi[i][best];
  }
  cout<<endl;
  cout<<"**********"<<endl;

  for (int i = 0; i < 3; ++i) {
    for (int j = 0; j < 3; ++j)
      cout<<sigma[i][j]<<' ';
    cout<<endl;
  }




  return 0;
}