动态模型系列笔记（一）——隐马尔可夫模型（HMM）

背景介绍

隐马尔可夫模型 (HMM) 是一种概率图模型。

我们知道，机器学习模型可以从频率派和贝叶斯派两个方向考虑，

• 频率派发展成形成了统计机器学习，核心是优化问题;
  1. model: 例如，超平面$f(\omega )={\omega }^{T}x+b$ 或者 回归（regression）等；
  2. strategy: 衡量模型好坏/评估准则 loss function;
  3. algorithm（求解）：GD, SGD, 牛顿法, 拟牛顿法等。
• 贝叶斯派发展成了概率图模型，核心是推断问题(inference)或者求后验概率$p(z|x)$, 常常需要用MCMC方法进行积分。（注：通常$x$表示数据）

如图，概率图模型最基本的模型可以分为

• 有向图（贝叶斯网络 Bayesian Newwork）
• 无向图（马尔可夫随机场 Markov Random Field）

在这些基本的模型上，如果样本之间存在关联，可以认为样本中附带了时序信息(不一定是时间，是一个表示先后的量即可），从而样本之间不独立全同分布的，这种模型就叫做动态模型，隐变量随着时间发生变化，于是观测变量也发生变化。

根据状态变量（隐变量）的特点，可以分为：

1. 隐马尔可夫模型（HMM），状态变量（隐变量）是离散的；
2. 卡尔曼滤波（Kalman Filter），状态变量是连续的，线性的；
3. 粒子滤波（Particle Filter），状态变量是连续，非线性的.

动态模型从横向看是一个时间序列，纵向看是一个混合模型：

提纲

下面的内容将分为以下三个部分进行叙述：

• 一个模型（隐马尔可夫模型）
• 两个假设
  1. 齐次马尔科夫假设
  2. 观测独立假设
• 三个问题
  1. Evaluation
  2. Learning
  3. Decoding

隐马尔可夫模型（HMM）

HMM 用概率图表示为：

符号表示

符号	解释
$\lambda =(\pi ,A,B)$	一个表示模型的参数
$\pi$	初始时刻的概率分布
$A$	状态转移矩阵
$B$	发射矩阵，观测概率矩阵

更进一步：

• 观测变量：上图中灰色的圆圈表示观测变量，用符号$O:[o_1,o_2,\cdots ,o_t,\cdots ]$表示，其值域为 V = { v 1 , v 2 , ⋯   , v M } V=\{v_1,v_2,\cdots,v_M\} V={v1​,v2​,⋯,vM​} ;
• 状态变量 Hidden state：上图中白色圆圈表示状态变量 Hidden state，用符号$i:[i_1,i_2,\cdots ,i_t,\cdots ]$ 表示，其值域为 Q = { q 1 , q 2 , ⋯   , q N } Q=\{q_1,q_2,\cdots,q_N\} Q={q1​,q2​,⋯,qN​}；
• 状态转移矩阵： $A=[a_{ij}]$，其中$a_{ij}=p(i_{t+1}=q_j|i_t=q_i)$;
• 发射矩阵/观测概率矩阵：$B=[b_j(k)]$ ，其中$b_j(k)=p(o_t=v_k|i_t=q_j)$.

两个假设

在 HMM 中，有两个基本假设：

1. 齐次 Markov假设（当前状态仅与前一状态有关）：
   $$p(i_{t+1}|i_t,i_{t-1},\cdots ,i_1,o_t,o_{t-1},\cdots ,o_1)=p(i_{t+1}|i_t)\text{\hspace{1em}(1)}$$

2. 观测独立假设（当前的观测变量只与当前的状态变量有关）：
   $$p(o_t|i_t,i_{t-1},\cdots ,i_1,o_{t-1},\cdots ,o_1)=p(o_t|i_t)\text{\hspace{1em}(2)}$$

三个问题：

1. Evaluation：
   在所有参数$\lambda$已知的条件下，观测序列的概率，即$p(O|\lambda )$；
   通常采用前向后向算法（Forward-Backward Algorithm）解决。
2. Learning：
   如何求$\lambda$? 即如何求$\lambda =\underset{\lambda }{\mathrm{argmax}}p(O|\lambda )$？
   通常采用EM 算法（即Baum-Welch算法，Baum-Welch算法在EM前提出，后来发现它本质就是EM算法）。
3. Decoding：
   找到一个系列$I$使$p(I|O,\lambda )$最大，即$I=\underset{I}{\mathrm{argmax}}p(I|O,\lambda )$最大；
   通常使用Vierbi 算法；
   同时这类问题还可以分成两个小问题
   1. 预测问题：$p(i_{t+1}|o_1,o_2,\cdots ,o_t)$，即求$t+1$时刻的隐状态；
   2. 滤波问题：$p(i_t|o_1,o_2,\cdots ,o_t)$，即求$t$时刻的隐状态。

Evaluation

$$p(O|\lambda )=\sum _{I}p(I,O|\lambda )=\sum _{I}p(O|I,\lambda )p(I|\lambda )$$

$$p(I|\lambda )=p(i_1,i_2,\cdots ,i_t|\lambda )=p(i_t|i_1,i_2,\cdots ,i_{t-1},\lambda )p(i_1,i_2,\cdots ,i_{t-1}|\lambda )$$

根据齐次 Markov 假设：
$$p(i_t|i_1,i_2,\cdots ,i_{t-1},\lambda )=p(i_t|i_{t-1})=a_{i_{t-1}{i}_t}$$
所以：
$$p(I|\lambda )={\pi }_1\prod _{t=2}^T{a}_{i_{t-1},i_t}$$
又由于：
$$p(O|I,\lambda )=\prod _{t=1}^T{b}_{i_t}(o_t)$$
于是：
$$p(O|\lambda )=\sum _I{\pi }_{i_1}\prod _{t=2}^T{a}_{i_{t-1},i_t}\prod _{t=1}^T{b}_{i_t}(o_t)$$
我们看到，上面的式子中的求和符号是对所有的观测变量求和，于是复杂度为 $O(N^T)$。

下面，记 ${\alpha }_t(i)=p(o_1,o_2,\cdots ,o_t,i_t=q_i|\lambda )$，所以，${\alpha }_T(i)=p(O,i_T=q_i|\lambda )$。我们看到：
$$p(O|\lambda )=\sum _{i=1}^{N}p(O,i_T=q_i|\lambda )=\sum _{i=1}^N{\alpha }_T(i)$$
对 ${\alpha }_{t+1}(j)$：
KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲\alpha_{t+1}(j)…
利用观测独立假设：
KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲\alpha_{t+1}(j)…
上面利用了齐次 Markov 假设得到了一个递推公式，这个算法叫做前向算法。

还有一种算法叫做后向算法，定义 ${\beta }_t(i)=p(o_{t+1},o_{t+1},\cdots ，o_T|i_t=i,\lambda )$：
KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲p(O|\lambda)&=p…
对于这个 ${\beta }_1(i)$：
KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲\beta_t(i)&=p(o…
于是后向地得到了第一项。

Learning

为了学习得到参数的最优值，在 MLE 中：
$${\lambda }_{MLE}={\mathrm{argmax}}_{\lambda }p(O|\lambda )$$
我们采用 EM 算法（在这里也叫 Baum Welch 算法），用上标表示迭代：
$${\theta }^{t+1}={\mathrm{argmax}}_{\theta }{\int }_z\log p(X,Z|\theta )p(Z|X,{\theta }^t)dz$$
其中，$X$ 是观测变量，$Z$ 是隐变量序列。于是：
$$\begin{gathered} {\lambda }^{t+1}={\mathrm{argmax}}_{\lambda }\sum _I\log p(O,I|\lambda )p(I|O,{\lambda }^t) \\ ={\mathrm{argmax}}_{\lambda }\sum _I\log p(O,I|\lambda )p(O,I|{\lambda }^t) \end{gathered}$$
这里利用了 $p(O|{\lambda }^t)$ 和$\lambda$ 无关。将 Evaluation 中的式子代入：
$$\sum _I\log p(O,I|\lambda )p(O,I|{\lambda }^t)=\sum _I[\log {\pi }_{i_1}+\sum _{t=2}^T\log a_{i_{t-1},i_t}+\sum _{t=1}^T\log b_{i_t}(o_t)]p(O,I|{\lambda }^t)$$
对 ${\pi }^{t+1}$：
KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲\pi^{t+1}&=\mat…
上面的式子中，对 $i_2,i_2,\cdots ,i_T$ 求和可以将这些参数消掉：
$${\pi }^{t+1}={\mathrm{argmax}}_{\pi }\sum _{i_1}[\log {\pi }_{i_1}\cdot p(O,i_1|{\lambda }^t)]$$
上面的式子还有对 $\pi$ 的约束 $\sum _i{\pi }_i=1$。定义 Lagrange 函数：
$$L(\pi ,\eta )=\sum _{i=1}^N\log {\pi }_i\cdot p(O,i_1=q_i|{\lambda }^t)+\eta (\sum _{i=1}^N{\pi }_i-1)$$
于是：
$$\frac{\partial L}{\partial {\pi }_i}=\frac{1}{{\pi }_i}p(O,i_1=q_i|{\lambda }^t)+\eta =0$$
对上式求和：
$$\sum _{i=1}^{N}p(O,i_1=q_i|{\lambda }^t)+{\pi }_i\eta =0\Rightarrow \eta =-p(O|{\lambda }^t)$$
所以：
$${\pi }_i^{t+1}=\frac{p(O,i_1=q_i|{\lambda }^t)}{p(O|{\lambda }^t)}$$

Decoding

Decoding 问题表述为：
$$I=\underset{I}{\mathrm{argmax}}p(I|O,\lambda )$$
我们需要找到一个序列，其概率最大，这个序列就是在参数空间中的一个路径，可以采用动态规划的思想。

定义：
$${\delta }_t(j)=\underset{i_1,\cdots ,i_{t-1}}{\max }p(o_1,\cdots ,o_t,i_1,\cdots ,i_{t-1},i_t=q_i)$$
于是：
$${\delta }_{t+1}(j)=\underset{1\le i\le N}{\max }{\delta }_t(i)a_{ij}{b}_j(o_{t+1})$$
这个式子就是从上一步到下一步的概率再求最大值。记这个路径为：
$${\psi }_{t+1}(j)=\underset{1\le i\le N}{\mathrm{argmax}}{\delta }_t(i)a_{ij}$$

小结

HMM 是一种动态模型，是由混合树形模型和时序结合起来的一种模型（类似 GMM + Time）。对于类似 HMM 的这种状态空间模型，普遍的除了学习任务（采用 EM ）外，还有推断任务，推断任务包括：

1. 译码 Decoding：$p(z_1,z_2,\cdots ,z_t|x_1,x_2,\cdots ,x_t)$

2. 似然概率：$p(X|\theta )$

3. 滤波：$p(z_t|x_1,\cdots ,x_t)$，Online
   $$p(z_t|x_{1:t})=\frac{p(x_{1:t},z_t)}{p(x_{1:t})}=C{\alpha }_t(z_t)$$

4. 平滑：$p(z_t|x_1,\cdots ,x_T)$，Offline
   $$p(z_t|x_{1:T})=\frac{p(x_{1:T},z_t)}{p(x_{1:T})}=\frac{{\alpha }_t(z_t)p(x_{t+1:T}|x_{1:t},z_t)}{p(x_{1:T})}$$
   根据概率图的条件独立性，有：
   $$p(z_t|x_{1:T})=\frac{{\alpha }_t(z_t)p(x_{t+1:T}|z_t)}{p(x_{1:T})}=C{\alpha }_t(z_t){\beta }_t(z_t)$$
   这个算法叫做前向后向算法。

5. 预测：$p(z_{t+1},z_{t+2}|x_1,\cdots ,x_t),p(x_{t+1},x_{t+2}|x_1,\cdots ,x_t)$
   $$p(z_{t+1}|x_{1:t})=\sum _{z_t}p(z_{t+1},z_t|x_{1:t})=\sum _{z_t}p(z_{t+1}|z_t)p(z_t|x_{1:t})$$

   $$p(x_{t+1}|x_{1:t})=\sum _{z_{t+1}}p(x_{t+1},z_{t+1}|x_{1:t})=\sum _{z_{t+1}}p(x_{t+1}|z_{t+1})p(z_{t+1}|x_{1:t})$$

附录

A. Markov的齐次性与阶数

• Markov的齐次性：$P(X_{t_n}=x_n|X_{t_{n-1}}=x_{n-1}$的值与n无关，即转移概率与哪一次转移无关，仅与转移前后的状态有关；
• n 阶马尔可夫：当前状态仅与前n个状态有关，一般我们研究的都是一阶马尔可夫（只与前一个状态有关），比如本模型的假设。