@R语言下的HMM,从理论到实践解答你的困惑（经典讲解二）

@R语言下的HMM,从理论到实践解答你的困惑（经典讲解二）

由于文章比较长，承接上一篇文章

接着写评估问题

解决方法详解

第一个问题的算法分析

蛮力算法

1. 解决第一个问题，可以采用蛮力算法。即例举出所有可能的隐藏状态序列，然后计算在每个隐藏状态序列下产生可观察序列的概率值，然后对所有可能状态求和。
   步骤如下：

• step1 计算可观察序列$\vec{x}$的长度 $n$（这一步很关键，没有这一步下文没办法展开说明）
• step2 找出所有长度为$n$的隐藏变量序列${\vec{y}}^i,i=0,1,2,...,k-1$，注意这里每一个元素都是一个序列，这一点一定要头脑清楚,我这里为了和其他向量区别，把角标写到右上方。假设可能的状态序列总共有k种，其实可以根据组合数算出来k值，这里略去，留作课后习题。

大部分的博客写 step3 基本就开始出错了，有的角标写错，有的叙述出错，有的角标错位，这些地方往往是体现专业基本功的地方。这些地方写错，真真是耽误别人理解。但是往往这些地方大量出错，甚至一些教程都不能准确写出这些细节。

• step3 对任意一个隐藏变量序列${\vec{y}}^i$ 求解出现 可观察序列$\vec{x}$ 的概率 $$P(\vec{x}|{\vec{y}}^i,\lambda )$$

  计算方法为：
  按照时间顺序从第0个位置算起
  $$P(\vec{x}|{\vec{y}}^i,\lambda )={\pi }_{y_0^i}\ast b_{y_0^i{x}_0}\ast a_{y_0^i{y}_1^i}\ast b_{y_1^i{x}_1}\ast a_{y_1^i{y}_2^i}\ast b_{y_2^i{x}_2}\ast ...$$
  简写为
  $$P(\vec{x}|{\vec{y}}^i,\lambda )={\pi }_{y_0^i}\ast b_{y_0^i{x}_0}\ast \sum _{j=0}^{n-2}{a}_{y_i^i{y}_{j+1}^i}\ast b_{y_{j+1}^i{x}_{j+1}}$$

• step4 对所有可能状态序列${\vec{y}}^i$求和

$$\sum _{i=0}^{k-1}P(\vec{x}|{\vec{y}}^i,\lambda )$$
即得最终所求概率值
$$P(\vec{x}|\lambda )$$

这种蛮力算法复杂度很高。

借助序列之间有公共部分这个规律简化蛮力算法

前向-后向算法使用动态规划思想来简化运算，减少重复运算。

前向算法

前向算法是从头到尾计算，逐步完成计算。

这样理解：
第 0 个位置得到 $\vec{x}$中 $x_0$得概率是隐含状态取各种可能情况（也就是取遍状态值集合中得每一个值）得概率和
$$\begin{gathered} P_{x_0}=P(y_0=s_0|x_0,\lambda )+ \\ P(y_0=s_1|x_0,\lambda )+ \\ P(y_0=s_2|x_0,\lambda )+ \\ P(y_0=s_3|x_0,\lambda )+ \\ P(y_0=s_4|x_0,\lambda ) \end{gathered}$$

简写为
$$P_{x_0}=\sum _{i=0}^{4}P(y_0=s_i|x_0,\lambda )$$

这一步产生五种情况，这五种情况都会向下一步变化，每种变化都可以在产生一个路径（注意这里又用了另一个名词：路径）
$$\begin{gathered} P(y_0=s_0|x_0,\lambda ), \\ P(y_0=s_1|x_0,\lambda ), \\ P(y_0=s_2|x_0,\lambda ), \\ P(y_0=s_3|x_0,\lambda ), \\ P(y_0=s_4|x_0,\lambda ) \end{gathered}$$

为了方便引用：
给这些式子写一个统一格式;
$$P(y_0=s_i|x_0,\lambda )=P_{x_0}(s_i),i=0,1,2,3,4$$

计算第1个位置概率值时还需要考虑前一个位置的情况：
$$\begin{gathered} P_{x_0,x_1}=P(y_1=s_0|y_0=s_0,x_0,x_1,\lambda )+ \\ P(y_1=s_1|y_0=s_0,x_0,x_1,\lambda )+ \\ P(y_1=s_2|y_0=s_0,x_0,x_1,\lambda )+ \\ P(y_1=s_3|y_0=s_0,x_0,x_1,\lambda )+ \\ P(y_1=s_4|y_0=s_0,x_0,x_1,\lambda )+ \\ P(y_1=s_0|y_0=s_1,x_0,x_1,\lambda )+ \\ P(y_1=s_1|y_0=s_1,x_0,x_1,\lambda )+ \\ P(y_1=s_2|y_0=s_1,x_0,x_1,\lambda )+ \\ P(y_1=s_3|y_0=s_1,x_0,x_1,\lambda )+ \\ P(y_1=s_4|y_0=s_1,x_0,x_1,\lambda )+... \end{gathered}$$
公式太长了，基本成型，简写之后就好处理了。全网能如此详细写明白这个过程的博客应该不多吧。

$$P_{x_0,x_1}=\sum _{i=0}^4\sum _{j=0}^{4}P(y_1=s_i|y_0=s_j,x_0,x_1,\lambda )$$

这里注意双重求和。都是对状态值遍历后求和。

其中$$P(y_1=s_i|y_0=s_j,x_0,x_1,\lambda )=P(y_0=s_j|x_0,\lambda )\ast a_{s_j{s}_i}\ast b_{s_i{x}_1}$$

因此
$$\begin{gathered} P_{x_0,x_1}=\sum _{i=0}^4\sum _{j=0}^{4}P(y_1=s_i|y_0=s_j,x_0,x_1,\lambda ) \\ =\sum _{i=0}^4\sum _{j=0}^{4}P(y_0=s_j|x_0,\lambda )\ast a_{s_j{s}_i}\ast b_{s_i{x}_1} \\ =\sum _{i=0}^4\sum _{j=0}^4{P}_{x_0}(s_j)\ast a_{s_j{s}_i}\ast b_{s_i{x}_1} \end{gathered}$$

以此类推

$$P_{x_0,x_1,...,x_t}=\sum _{i=0}^4\sum _{j=0}^4{P}_{x_0,x_1,...,x_{t-1}}(s_j)\ast a_{s_j{s}_i}\ast b_{s_i{x}_t}$$
至此，我们的前向算法初步完成。

后向算法

后向算法可以按照类似的思路写出来，为了文章紧凑不重复，这里略去。作为课后思考题吧。