隐马尔可夫模型简单理解

本文属于我的机器学习/深度学习系列文章，点此查看系列文章目录

前言

最近NLP课上讲完了隐马尔可夫模型，听得我一脸懵逼。

但是HMM实在是太优美、太好用了，因此决定写一篇博客好好理解一下HMM，同时给其他与我一样有疑难的童鞋们解惑。

一、马尔可夫模型

为了理解隐马尔可夫模型，首先要知道马尔可夫模型怎么来的。

马尔可夫模型是一个随机过程，假设一个系统存在N个状态，记为$s_1,s_2,...,s_N$，状态的转移依据时间进行。我们用$q_t$表示系统在时间t的状态变量（$s_i$中的一个），那么有t时刻，状态取值为$s_j,(1\le j\le N)$的概率则取决于前t-1个时刻的状态，如下：
$$p(q_t=s_j|q_{t-1}=s_i,q_{t-2}=s_k,...)$$

简言之就是后面的状态依赖于前面所有已有状态

但是如果每次都考虑前t-1个状态实在太复杂了，并且并不是前面所有的状态都对当前状态有很大影响。因此我们有以下两点假设：

1. 若在特定情况下，系统在时间t的状态仅与其在t-1的状态相关，则有
   $$p(q_t=s_j|q_{t-1}=s_i,q_{t-2}=s_k,...)=p(q_t=s_j|q_{t-1}=s_i）(1)$$

   不再考虑前面所有状态，改为只考虑前一个状态。这个也被称为离散一阶马尔可夫链

2. 若只考虑公式（1）独立于时间的随机过程，假设状态与时间无关，则有 $$\begin{gathered} p(q_t=s_j|q_{t-1}=s_i）=a_{ij},1\le i,j\le N \\ {a}_{ij}\ge 0 \\ \sum _{j=1}^N{a}_{ij}=1 \end{gathered}$$

   假设了状态的转移不再受时间限制，只依赖前一个状态

如下是一个马尔可夫链的例子：

由上图计算从状态t经过状态i转移到状态p的概率，如下：
$$\begin{gathered} p(t,i,p)=p(s_1=t)\times p(s_2=i|s_1=t)\times p(s_3=p|s_2=i) \\ =1.0\ast 0.3\ast 0.6=0.18 \end{gathered}$$

二、隐马尔可夫模型

2.1 定义

在马尔可夫模型中，每个状态都是一个可观察事件，想象状态t表示（天气晴），i表示（天气阴），p表示（天气雨），则$p(t,i,p)$就表示从晴天开始转换到阴天再转换到雨天的概率。注意在马尔可夫模型中，这些状态都是可以直接观察的，但很多情况下我们并不能直接观察到，我们只能通过一些特征去猜测当前的状态值（相当于多了一层随机过程），该模型是一个双重随机过程，其状态转换过程是不可观察的（隐蔽的），能观察的是这些隐蔽状态对应的随机函数。

以天气为例，晴天的结果就是地面是干燥的（随机函数输出），我们通过观测到地面是干燥的，猜测当前的状态可能是晴天。

下面是隐马尔可夫模型的一个图解：

隐马尔可夫序列更符合我们实际应用中遇到的状态转移情况，简言之就是通过观测自然现象，推测实际情况。

因此，我们可以发现一个HMM（隐马尔可夫模型）包含以下几部分：

1. 模型中状态的数目N(晴天、阴天、雨天…)，内容记为集合$S$

2. 从每个状态可能输出的不同特征(观测值)的数目M(干燥、潮湿…) ,内容记为集合$K$

   注意不同的状态可能输出相同的特征（可观察结果）

3. 状态转移概率矩阵 A = { a i j } A=\{a_{ij}\} A={ aij​}，这个和马尔可夫对应，在图解中就是$q_i$转移到$q_j$的概率矩阵，满足：
   $$\begin{gathered} p(q_t=s_j|q_{t-1}=s_i）=a_{ij},1\le i,j\le N \\ {a}_{ij}\ge 0 \\ \sum _{j=1}^N{a}_{ij}=1 \end{gathered}$$

   例如今天下雨，明天则是晴天的概率

4. 从状态$s_j$观察到特征$O_k$的概率分布矩阵 B = { b j ( k ) } B=\{b_j(k)\} B={ bj​(k)}，$b_j(k)$表示第j个天气对应第k个特征的概率，其中：
   $$\begin{gathered} b_j(k)=P(O_t=v_k|q_t=s_j),1\le j\le N;1\le k\le M \\ {b}_j(k)\ge 0 \\ \sum _{k=1}^M{b}_j(k)=1 \end{gathered}$$

   例如如果是雨天，地面会潮湿的概率

5. 初始状态概率分布 π = { π i } \bm {\pi} =\{\pi_i\} π={ πi​}，其中：
   $$\begin{gathered} {\pi }_i=P(q_1=s_i),1\le i\le N \\ \pi \ge 0 \\ \sum _{i=1}^N{\pi }_i=1 \end{gathered}$$

   例如起始是晴天还是雨天的概率

由此，我们可以将一个HMM记为五元组$(\mu =(S,K,\mathbf{A},\mathbf{B},\mathbf{\pi }))$。上面的描述可能有点抽象，我们看一个实际的例子：

2.2 一个HMM例子

• 设状态集合 S = { 晴 天 ， 阴 天 ， 雨 天 } S = \{晴天，阴天，雨天\} S={ 晴天，阴天，雨天}

• 设观测集合 K = { 干 燥 、 潮 湿 } K= \{干燥、潮湿\} K={ 干燥、潮湿}

• 状态之间转移概率矩阵$\mathbf{A}$(我们用表格表示)

  \	晴天	阴天	雨天
  晴天	0.4	0.5	0.1
  阴天	0.3	0.4	0.3
  雨天	0.2	0.3	0.5

  例如当前是晴天，转移到阴天的概率是0.5

• 状态-特征转移概率矩阵$\mathbf{B}$

  \	干燥	潮湿
  晴天	0.8	0.2
  阴天	0.6	0.4
  雨天	0.3	0.7

  例如晴天导致地面干燥的概率是0.8

• 初始状态概率分布$\mathbf{\pi }$

  晴天	阴天	雨天
  0.3	0.4	0.3

那么我们连续观察三天地面结果，发现地面为“干湿湿”，对应状态序列为“晴阴雨”的概率就可以计算如下：
$$\begin{gathered} P(“干干湿”，“晴阴雨”)=P(晴)\ast P(干|晴)\ast P(阴|晴)\ast P(干|阴)\ast P(雨|阴)\ast P(湿|雨) \\ =0.3\ast 0.8\ast 0.5\ast 0.6\ast 0.3\ast 0.7=0.01512 \end{gathered}$$

同样我们可以计算“晴晴晴”，“晴雨阴”等等所有状态的概率，概率最大者就是状态序列（每天的天气）的变化，这也是下面要讲的序列问题。

三、HMM的三个基本问题

了解了HMM之后，需要知道其三个基本问题：

1. 估计问题：给定一个观察序列$O=O_1{O}_2...O_T$和模型$\mu =(\mathbf{A},\mathbf{B},\mathbf{\pi })$，如何快速计算该序列的概率$P(O|\mu )$

   计算观测序列产生的概率

2. 序列问题：也叫预测问题，给定一个观察序列$O=O_1{O}_2...O_T$和模型$\mu =(\mathbf{A},\mathbf{B},\mathbf{\pi })$，如何快速有效地选择一定意义下“最优”的状态序列$Q=q_1{q}_2...q_T$，使得该状态序列“最好地解释”观察序列。

   例子如上文造成“干干湿”观察序列的最可能天气变化状态序列是什么，计算每个可能状态序列的概率，取概率最大者就是实际天气状态的变化。

3. 训练问题或参数估计问题：给定一个观察序列$O=O_1{O}_2...O_T$，如何根据最大似然估计来求模型的参数值？即如何调节模型$\mu =(\mathbf{A},\mathbf{B},\mathbf{\pi })$的参数，使得$P(O|\mu )$最大？

   在实际问题中，HMM需要人为构建，构建的重点便是计算$\mathbf{A},\mathbf{B},\mathbf{\pi }$

为了解决上述三个问题，需要理解前向、后向、维特比等系列算法和参数估计，如下内容所示。

3.1 估计问题：求解观察序列的概率

所谓求解观察序列概率，即在确定了模型$\mu$的情况下，想要知道各个观察序列发生的可能性。比如观测到地面是“干干湿”的概率，需要联想是什么造成了“干干湿”，雨天也有可能发现地面是干的，只不过概率较小罢了。因此，产生“干干湿”的原因可能是一开始是晴天(由$\mathbf{\pi }(晴)$)确定，然后乘上在“晴天”这一隐藏状态观察到“干”的概率，而第二个“干”则是由下一状态产生的，这个过程涉及到状态的转移和观测结果的生成，如“晴天”转到“晴天”再产生“干”，或者“晴天”转到“雨天”再产生干。

具体的数学推导公式不好理解，这里画一个图来解释

其中$\mathbf{\pi }(晴)$表示一开始是晴天的概率，$a_{晴\to 晴}$表示从晴天转移到晴天的概率，$b_{晴}(干)$表示在晴天观察到地面干的概率

根据图结果我们可以看出要计算$P(O|\mu )$，必须枚举所有可能的状态序列Q,假设模型有N个不同状态，时间长度为T，那么可能的状态序列就有$N^T$个，当N和T稍大一些，指数级的运算就会使计算机不堪重负。而对于这类指数级的计算问题，要想降低其计算成本，容易想到利用动态规划，最终时间复杂度可以压缩到$O(N^{2}T)$，实现的算法是前后向算法

关于指数级问题联想动态规划不理解的可以参考我这篇文章