【西瓜书笔记】13. 隐马尔科夫模型（3）

近似算法

近似算法思想：在每个时刻t选择在该时刻最有可能出现的状态$i_t^{\ast }$，从而得到一个状态序列$I^{\ast }=\left(i_1^{\ast },i_2^{\ast },\dots ,i_T^{\ast }\right)$，将它作为预测的结果。具体算法如下：

给定隐马尔科夫模型$\lambda$和观测序列$O$, 在时刻t处于状态$q_i$的概率${\gamma }_t(i)$是
$${\gamma }_t(i)=\frac{{\alpha }_t(i){\beta }_t(i)}{{\sum }_{j=1}^N{\alpha }_t(j){\beta }_t(j)}$$
在每一时刻t最有可能的状态$i_t^{\ast }$是
$$i_t^{\ast }=\arg \underset{1\le i\le N}{\max }\left[{\gamma }_t(i)\right],t=1,2,\dots ,T$$
从而得到状态序列$I^{\ast }=\left(i_1^{\ast },i_2^{\ast },\dots ,i_T^{\ast }\right)$。但是近似算法不能保证计算出来的状态序列是整体最有可能的状态序列。因为它只是计算单个状态的最大可能性，从而有可能预测出相邻状态转化概率为0的序列。

维特比算法

维特比算法实际就是用动态规划解隐马尔科夫模型预测问题。即用动态规划求概率最大路径，这时一条路径对应着一个状态序列。具体算法如下：

定义在时刻t状态为$q_i$的所有单个路径$\left(i_1,i_2,\dots ,i_t\right)$中概率最大值为：
$${\delta }_t(i)=\underset{i_1,i_2,..,i_{t-1}}{\max }P\left(o_1,\dots ,o_t,i_1,\dots ,i_{t-1},i_t=q_i\right),i=1,2,\dots ,N$$
由上述定义可知：
$$\begin{array}{rl}{\delta }_1(i)& ={\pi }_i{b}_{i{o}_1}\\ {\delta }_2(i)& =\underset{1\le j\le N}{\max }\left[{\delta }_1(j)a_{ji}\right]b_{i{o}_2}\\ {\delta }_3(i)& =\underset{1\le j\le N}{\max }\left[{\delta }_2(j)a_{ji}\right]b_{i{o}_3}\end{array}$$
以此类推可得如下递推公式：
$${\delta }_t(i)=\underset{1\le j\le N}{\max }\left[{\delta }_{t-1}(j)a_{ji}\right]b_{i{o}_t}$$
定义在时刻t状态为$q_i$的所有单个路径$\left(i_1,i_2,\dots ,i_t-1,i_t\right)$中概率最大的路径的第t-1个结点为
$${\psi }_t(i)=\arg \underset{1\le j\le N}{\max }\left[{\delta }_{t-1}(j)a_{ji}\right]$$
注意这里是结点，其实表达的意义与i相同，就是第i种状态。

因此，取$i_T^{\ast }=\arg {\max }_i\left[{\delta }_T(i)\right]$,则$i_{T-1}^{\ast }={\psi }_T\left(i_T^{\ast }\right),i_{T-2}^{\ast }={\psi }_{T-1}\left(i_{T-1}^{\ast }\right),\dots ,i_1^{\ast }={\psi }_2\left(i_2^{\ast }\right)$。

$i_{T-1}^{\ast }={\psi }_T\left(i_T^{\ast }\right)$表示的就是时刻T状态为概率最大的状态情况下，所有单个路径中概率最大的路径的第T-1个结点。也就是在后一个结点取概率最大时，前一个概率最大的结点是哪个。

《统计学习方法》例10.3

假设有3个盒子，每个盒子里面都装有红白两种颜色的球，盒子里的红白球数如下表所示：
$$\begin{array}{cccc}\text{ 盒子 }& 1& 2& 3\\ \text{ 红球数 }& 5& 4& 7\\ \text{ 白球数 }& 5& 6& 3\end{array}$$
按照下面的方法抽球，产生一个球的颜色的观测序列：首先以0.2、0.4、0.4的概率从1、2、3号盒子中选取一个盒子，从这个盒子里随机抽出1个球，记录其颜色后放回，接着按一下概率选取下一个盒子
$$\begin{array}{cccc}& 1& 2& 3\\ 1& 0.5& 0.2& 0.3\\ 2& 0.3& 0.5& 0.2\\ 3& 0.2& 0.3& 0.5\end{array}$$
确定转移的盒子后，再从盒子里面随机抽取1个球，记录其颜色后放回，如此下去，重复3次，最终得到观测序列O={红，白，红}。记选取的盒子序列为状态序列，试求最优状态序列，即最优路径$I^{\ast }=\left(i_1^{\ast },i_2^{\ast },i_3^{\ast }\right)$。

解：

该例子是一个典型的隐马尔可夫模型，盒子代表了隐变量状态序列。由题意可得隐马尔可夫模型的参数(三要素)为:
$$A=\left[\begin{array}{lll}0.5& 0.2& 0.3\\ 0.3& 0.5& 0.2\\ 0.2& 0.3& 0.5\end{array}\right]B=\left[\begin{array}{ll}0.5& 0.5\\ 0.4& 0.6\\ 0.7& 0.3\end{array}\right]\pi =(0.2,0.4,0.4{)}^{\mathrm{T}}$$
其中B的第1、2列分别代表观测到红、白两球的概率。

按照维特比算法我们可以进行如下计算
$$\begin{array}{ll}{\delta }_1(1)={\pi }_1{b}_{1o_1}=0.2\times 0.5=0.1,& {\psi }_1(1)=0\\ {\delta }_1(2)={\pi }_2{b}_{2o_1}=0.4\times 0.4=0.16,& {\psi }_1(2)=0\\ {\delta }_1(3)={\pi }_3{b}_{3o_1}=0.4\times 0.7=0.28,& {\psi }_1(3)=0\end{array}$$

然后我们计算时刻t=2的路径概率最大值
$$\begin{array}{rl}& {\delta }_2(1)=\underset{1\le j\le 3}{\max }\left[{\delta }_1(j)a_{j1}\right]b_{1o_2}=\max \left\{\begin{array}{c}0.1\times 0.5=0.05\\ 0.16\times 0.3=0.048\\ 0.28\times 0.2=0.056\end{array}\right\}\times 0.5=0.028\\ & {\delta }_2(2)=\underset{1\le j\le 3}{\max }\left[{\delta }_1(j)a_{j2}\right]b_{2o_2}=\max \left\{\begin{array}{c}0.1\times 0.2=0.02\\ 0.16\times 0.5=0.08\\ 0.28\times 0.3=0.084\end{array}\right\}\times 0.6=0.0504\\ & {\delta }_2(3)=\underset{1\le j\le 3}{\max }\left[{\delta }_1(j)a_{j3}\right]b_{3o_2}=\max \left\{\begin{array}{c}0.1\times 0.3=0.03\\ 0.16\times 0.2=0.032\\ 0.28\times 0-0.14\end{array}\right\}\times 0.3=0.042\end{array}$$
可以看出，都是由时刻t=2时，都是从上一时刻t=1时处于状态3（也就是盒子3）出发的路径最大。
$$\begin{array}{rl}& {\psi }_2(1)=\arg \underset{1\le j\le 3}{\max }\left[{\delta }_1(j)a_{j1}\right]=3\\ & {\psi }_2(2)=\arg \underset{1\le j\le 3}{\max }\left[{\delta }_1(j)a_{j2}\right]=3\\ & {\psi }_2(3)=\arg \underset{1\le j\le 3}{\max }\left[{\delta }_1(j)a_{j3}\right]=3\end{array}$$

继续计算下一时刻
$$\begin{array}{rl}& {\delta }_3(1)=\underset{1\le j\le 3}{\max }\left[{\delta }_2(j)a_{j1}\right]b_{1o_3}=\max \left\{\begin{array}{c}0.028\times 0.5=0.014\\ 0.0504\times 0.3=0.01512\\ 0.042\times 0.2=0.0084\end{array}\right\}\times 0.5=0.00756\\ & {\delta }_3(2)=\underset{1\le j\le 3}{\max }\left[{\delta }_2(j)a_{j2}\right]b_{2o_3}=\max \left\{\begin{array}{c}0.028\times 0.2=0.0056\\ 0.0504\times 0.5=0.0252\\ 0.042\times 0.3=0.0126\end{array}\right\}\times 0.4=0.01008\\ & {\delta }_3(3)=\underset{1\le j\le 3}{\max }\left[{\delta }_2(j)a_{j3}\right]b_{3o_3}=\max \left\{\begin{array}{c}0.028\times 0.3=0.0084\\ 0.0504\times 0.2=0.01008\\ 0.042\times 0.5=0.021\end{array}\right\}\times 0.7=0.0147\end{array}$$
可以看出，t=3时，状态1、2从上一时刻t=2的状态2转移的概率最大，状态3还是从上一时刻的状态3转移的概率最大。
$$\begin{array}{rl}& {\psi }_3(1)=\arg \underset{1\le j\le 3}{\max }\left[{\delta }_2(j)a_{j1}\right]=2\\ & {\psi }_3(2)=\arg \underset{1\le j\le 3}{\max }\left[{\delta }_2(j)a_{j2}\right]=2\\ & {\psi }_3(3)=\arg \underset{1\le j\le 3}{\max }\left[{\delta }_2(j)a_{j3}\right]=3\end{array}$$

所以，最优状态序列为
$$\begin{array}{rl}& i_3^{\ast }=\arg \underset{i}{\max }\left[{\delta }_3(i)\right]=3\\ & i_2^{\ast }={\psi }_3\left(i_3^{\ast }\right)={\psi }_3(3)=3\\ & i_1^{\ast }={\psi }_2\left(i_2^{\ast }\right)={\psi }_2(3)=3\end{array}$$