隐式半马尔可夫模型简述——Hidden semi-Markov Model: My superficial review

本文介绍隐式半马尔可夫模型（HSMM）的基本概念与使用，以及一些个人理解。读者要求有一定隐式马尔可夫模型（HMM）基础。文中采用的符号系统取自附录2。

从HMM到HSMM

有关隐式马尔可夫模型模型的由来，此处不做过多阐述，只做简单介绍。详细内容读者可参考此文。
给定一个观测序列 o = { o 1 , o 2 , … , o T } o = \{o_{1}, o_{2}, \dots, o_{T}\} o={ o1​,o2​,…,oT​}，我们假设该观测序列采样自某个不可直接观测的状态序列 s = { s 1 , s 2 , … , s T } s = \{s_{1},s_{2},\dots,s_{T}\} s={ s1​,s2​,…,sT​}，且$t$时刻的状态仅取决于$t-1$时刻的状态，那么我们认为采样的模型属于隐式马尔可夫模型（Hidden Markov Model, HMM）。一个典型HMM的模型参数为： λ ≜ { A , B , π } \lambda\triangleq\{ A, B, \pi \} λ≜{ A,B,π} 其中

• $A$ 是状态转移概率矩阵（Transition probabilities）: $a_{ij}=P(s_t=S_j|s_{t-1}=S_i)$
• $B$ 是观测概率矩阵（Observation probabilities）: $b_j(k)=P(o_t=O_k|s_t=S_j)$
• $\pi$ 是初始状态概率向量（Initial state probabilities）: ${\pi }_j=P(s_0=S_j)$

一般探讨HMM的使用指的是探讨三个问题：

1. 评价：给定观测序列，评估该序列满足某个HMM的概率。典型的做法是前向、后向算法。
2. 解码：给定观测序列和一个HMM，找到该观测序列对应的状态序列。通常采用维特比算法。
3. 训练：给定观测序列，估计对应的HMM的参数。通常采用EM算法。

隐式马尔可夫模型的可用于建模空间、时间上的不确定性。空间上的不确定性由状态间的转移概率建模，时间上的不确定性则与自身转移概率有关（$a_{ii}$）。利用HMM每次预测下一个采样时刻的状态都仅考虑系统当前时刻的状态。然而，一些实际问题中，状态之间的转移并不在一个采样周期内发生。也就是说，状态会保持一段时间。就好比一个智能体从A地依次运动到B、C、D，由于每个地方大小不同，智能体在每个地方运动的时间长短也不同。这种数据的建模就要用到隐式半马尔可夫模型模型（Hidden semi-Markov Model, HSMM），如下图所示：

每个状态都有一个时长（Duration），且时长不固定。

HSMM概述

HSMM是HMM的扩展，它允许每个状态具有一个可变的时长（variable duration, $d$）。因此，HSMM可以用以建模时间上的不确定性。HSMM与HMM最重要的区别在于HMM每个状态产生一个观测值，而HSMM每个状态产生一系列观测值。
对于一个HSMM，状态的转移并非$s_t\to s_{t+1}$，而是$(s_i,d_i)\to (s_{i+1},d_{i+1})$。令状态 $i$ 到状态 $j$ 的转移概率为： a ( i , d ′ ) ( j , d ) ≜ P [ s [ t + 1 : t + d ] = S j ∣ s [ t − d ′ + 1 , t ] = S i ] s.t.  ∑ j ∈ S ∖ { i } ∑ d ∈ D a ( i , d ′ ) ( j , d ) = 1 a ( i , d ′ ) ( i , d ) = 0 \begin{aligned} &a_{(i,d')(j,d)} \triangleq P[s_{[t+1:t+d]} = S_{j} | s_{[t-d'+1,t]} = S_{i}] \\ \text{s.t. } &\sum_{j\in\mathcal{S}\setminus\{i\}}\sum_{d\in\mathcal{D}}a_{(i,d')(j,d)} = 1 \\ &a_{(i,d')(i,d)} = 0 \end{aligned} s.t. ​a(i,d′)(j,d)​≜P[s[t+1:t+d]​=Sj​∣s[t−d′+1,t]​=Si​]j∈S∖{ i}∑​d∈D∑​a(i,d′)(j,d)​=1a(i,d′)(i,d)​=0​ 从上式可以看出：

• 使用HSMM时我们不考虑状态内部转移概率（self-transition probabilities），即将矩阵$A$中对角线元素全部置零。
• 状态之间的转移发生在采样时刻 $t$ ，此时前一个状态结束，后一个状态开启。
• 后一个状态及其时长，除了与前一个状态本身有关，还与前一个状态的时长有关。举个例子，一个智能体从A地运动到B地，由于A、B两地交界是线而非点，智能体沿着不同的方向运动有可能在两地停留的时间不同。

HSMM的观测概率表示为： b j , d ( o t + 1 : t + d ) ≜ P [ o t + 1 : t +