HMM经典介绍论文【Rabiner 1989】翻译（二）——离散Markov过程

2. 离散Markov过程

考虑一个系统，这个系统在任意时间处于N个离散状态$S_1, S_2, \cdots, S_N$中的某个状态，如图1所示（$N=5$）。系统在每个时间点根据当前状态相关的概率值跳转到下一个状态。我们把状态跳转时间表示为$t=1, 2, \cdots$，并且把$t$时刻的的状态值表示为$q_t$。上述系统的一个完整概率描述需要当前状态（时刻$t$）以及之前的所有状态。对于离散Markov链的一个特殊情况——一阶Markov过程，只需要当前状态和上一个状态就可以描述系统的概率分布，即

$$P[q_t=S_j | q_{t-1}=S_i, q_{t-2}=S_k, \cdots] = P[q_t= S_j | q_{t-1}=S_i]. \tag{1}$$

并且，我们只考虑(1)的右边和时间无关的系统，这样得到一组状态转移概率$a_{ij}$：

$$a_{ij}=P[q_t= S_j | q_{t-1}=S_i],\quad 1\leq i, j\leq N, \tag{2}$$

其中状态转移概率需要满足概率的一般性质，即：

$$\begin{align} a_{ij} & > 0 \tag {3a}\\\\ \sum_{j=1}^N a_{ij} &= 1 \tag{3b} \end{align}$$

上述随机过程可以称为可观测Markov模型，因为过程的输出是一组状态值，每个状态值和一个物理（可观测的）事件相关。下面介绍一个只有3个状态的天气Markov模型。我们假设每天观测到的天气是以下几种情况之一：

状态1：雨雪
状态2：多云
状态3：晴天

我们假设第$t$天的天气由上面三个状态中的一个来表征，并且状态转移概率矩阵$A$是

$$A = \{a_{ij}\}=\left( \begin{matrix} 0.4 & 0.3 & 0.3 \\\\ 0.2 & 0.6 & 0.2 \\\\ 0.1 & 0.1 & 0.8 \end{matrix}\right).$$

假设第一天（$t=1$）的天气是晴天（状态3），那么接下来7天的天气是“晴天-晴天-雨雪-雨雪-晴天-多云-晴天”的概率是多少？更正式的描述，我们定义$t=1, 2, \cdots, 8$的观测序列$O$为$O=\\{S_3, S_3, S_3, S_1, S_1, S_3, S_2, S_3\\}$，并且在模型已知的情况下，我们希望得到$O$的概率。这个概率可以表示为

$$\begin{align} P(O|Model) & = P[S_3, S_3, S_3, S_1, S_1, S_3, S_2, S_3|Model] \nonumber \\\\ &= P[S_3] \cdot P[S_3|S_3] \cdot P[S_3|S_3] \cdot P[S_1|S_3] \cdot P[S_1|S_1] \cdot P[S_3|S_1] \cdot P[S_2|S_3] \cdot P[S_3|S_2] \nonumber \\\\ &= \pi_3 \cdot a_{33} \cdot a_{33} \cdot a_{31} \cdot a_{11} \cdot a_{13} \cdot a_{32} \cdot a_{23} \nonumber \\\\ &= 1 \cdot (0.8)(0.8)(0.1)(0.4)(0.3)(0.1)(0.2) \nonumber \\\\ &= 1.536\times 10^{-4} \nonumber \end{align}$$

其中

$$\pi_i= P[q_1=S_i], 1\leq i \leq N \tag{4},$$
表示初始状态概率。

另一个有意思的问题是：假设模型在一个已知状态，那么它保持这个状态正好$d$天的概率是多少？这个概率可以用以下状态序列的概率表示：

$$O=\\{ S_i, S_i, S_i, \cdots, S_i, S_j \neq S_i \\}，$$
模型为

$$P(O|Model,q_1 = S_i) = (a_{ii})^{d-1}(1-a_{ii})=p_i(d). \tag{5}$$

$p_i(d)$是状态$i$的持续时间的概率密度函数。指数持续时间密度是Markov链中的状态持续时间的特点。根据$p_i(d)$，可以计算出以某种状态开始的条件下该状态的期望观测次数：

$$\begin{align} \bar{d_i} &= \sum_{d=1}^\infty dp_i(d) \tag{6a}\\\\ &= \sum_{d=1}^\infty d (a_{ii})^{d-1}(1-a_{ii}) = \frac{1}{1-a_{ii}}. \tag{6b} \end{align}$$

所以根据模型得到的连续晴天天数的期望值为$1/(0.2)=5$，多云是2.5，雨雪是1.67。