隐马尔可夫HMM

隐马尔可夫模型是关于时序的概率模型，描述由一个隐藏的马尔科夫链随机生成不可观测的状态随机序列，再由各个状态生成一个观测而产生观测随机序列的过程。HMM属于生成模型。

1 HMM组成三部分

HMM可以由下面的三元符号表示：
$$\lambda =(A,B,\pi )$$

1. A是状态转移概率矩阵
2. B是观测概率矩阵
3. $\pi$是初始状态概率向量

将观测变量用$o_t$表示，取值为$V=v_1,...,v_M$
将状态变量用$i_t$,取值为$Q=q_1,...,q_N$
$$\begin{gathered} A=[a_{ij}],a_{ij}=p(i_{t+1}=q_j|i_t=q_i) \\ B=[b_j(k)],b_j(k)=p(o_t=v_k|i_t=q_j) \\ \pi =({\pi }_1,...,{\pi }_N),\sum _{i=1}^N{\pi }_i=1,{\pi }_i=p(i_1=q_i) \end{gathered}$$

2 两个假设

1. 齐次一阶Markov假设：任意时刻的状态只依赖于上一时刻。
   $$p(i_{t+1}|i_t,i_{t-1},...,i_1,o_t,o_{t-1},...,o_1)=p(i_{t+1}|i_t)$$
2. 观测独立假设：当前时刻的观测只依赖于当前时刻的状态。
   $$p(o_t|i_t,i_{t-1},...,i_1,o_{t-1},...,o_1)=p(o_t|i_t)$$

3 HMM要解决的三个问题

1. 概率计算问题(Evaluation) ⇒ $已知\lambda 和O，求p(O|\lambda )$ ⇒ 前向后向
2. 学习问题(Learning) ⇒ $已知观测序列O，估计{\lambda }_{MLE}=arg\underset{\lambda }{\max }p(o|\lambda )$ ⇒ EM
3. 解码问题(Decoding) ⇒ $已知\lambda 和观测序列O,求解\hat{I}=arg\underset{I}{\max }p(I|O,\lambda )$ ⇒ viterbi

3.1 Evaluation

$$p(O|\lambda )=\sum _{I}p(I,O|\lambda )=\sum _{I}p(O|I,\lambda )\cdot p(I|\lambda )$$
$$\begin{gathered} p(I|\lambda )=p(i_1,...,i_T|\lambda )=p(i_T|i_1,...,i_{T-1},\lambda )\cdot p(i_1,...,i_{T-1}|\lambda ) \\ =P(i_T|i_{T-1})\cdot p(i_1,...,i_{T-1}|\lambda ) \\ =P(i_T|i_{T-1})\cdot P(i_{T-1}|i_{T-2})\cdot p(i_1,...,i_{T-2}|\lambda ) \\ \cdot \cdot \\ ={\pi }_{i_1}\cdot \prod _{t=2}^T{a}_{i_{t-1},i_t} \end{gathered}$$
同理可得：
$$p(O|I,\lambda )=\prod _{t=1}^T{b}_{i_t}(o_t)$$
所以可得：
$$\begin{gathered} p(O|\lambda )=\sum _I{\pi }_{i_1}\cdot \prod _{t=2}^T{a}_{i_{t-1},i_t}\prod _{t=1}^T{b}_{i_t}(o_t) \\ =\sum _{i_1}\cdot \cdot \cdot \sum _{i_T}{\pi }_{i_1}\cdot \prod _{t=2}^T{a}_{i_{t-1},i_t}\prod _{t=1}^T{b}_{i_t}(o_t) \end{gathered}$$
上述公式的复杂度是$O(T{N}^T)$,计算量太大，下面使用前向算法计算。

3.1.1 前向算法（Forward algorithm）

记：
$${\alpha }_t(i)=p(o_1,...,o_t,i_t=q_i|\lambda )$$
$${\alpha }_T(i)=p(O,i_T=q_i|\lambda )$$
$$p(O|\lambda )=\sum _{i=1}^{N}P(O,i_T=q_i|\lambda )=\sum _{i=1}^N{\alpha }_T(i)$$
求解递推公式：
$$\begin{gathered} {\alpha }_{t+1}(j)=p(o_1,...,o_{t+1},i_{t+1}=q_j|\lambda ) \\ =\sum _{i=1}^{N}p(o_1,...,o_{t+1},i_{t+1}=q_j,i_t=q_i|\lambda ) \\ =\sum _{i=1}^{N}p(o_{t+1}|o_1,...,o_t,i_t=q_i,i_{t+1}=q_j,\lambda )\cdot p(o_1,...o_t,i_t=q_i,i_{t+1}=q_j|\lambda ) \\ =\sum _{i=1}^{N}p(o_{t+1}|i_{t+1}=q_j)\cdot p(o_1,...o_t,i_t=q_i,i_{t+1}=q_j|\lambda ) \\ =\sum _{i=1}^{N}p(o_{t+1}|i_{t+1}=q_j)\cdot p(i_{t+1}=q_j|o_1,...o_t,i_t=q_i,\lambda )\cdot p(o_1,...o_t,i_t=q_i|\lambda ) \\ =\sum _{i=1}^{N}p(o_{t+1}|i_{t+1}=q_j)\cdot p(i_{t+1}=q_j|i_t=q_i)\cdot {\alpha }_t(i) \\ =\sum _{i=1}^N{b}_j(o_{t+1})a_{ij}{\alpha }_t(i) \end{gathered}$$
算法的复杂度为$O(N^{2}T)$。
例题见《统计学习方法》10.2

3.1.1 后向算法（Forward algorithm）

待补充

3.2 Learning

解法是Baum Welch算法，也就是EM算法。
EM公式：${\theta }^{t+1}=arg\underset{\theta }{\max }{\int }_{z}logp(x,z|\theta )\cdot p(z|x,{\theta }^t)dz$
$x:观测状态\Rightarrow O,z:隐变量\Rightarrow I,\theta :参数\Rightarrow \lambda$，将上述公式改为HMM中的符号：
$$\begin{gathered} {\lambda }^{t+1}=arg\underset{\lambda }{\max }\sum _{I}logp(O,I|\lambda )\cdot p(I|O,{\lambda }^t) \\ =arg\underset{\lambda }{\max }\sum _{I}logp(O,I|\lambda )\cdot p(O,I|{\lambda }^t) \end{gathered}$$
注：$p(I|O,{\lambda }^t)=\frac{p(O,I|{\lambda }^t)}{p(O|{\lambda }_t)},因为p(O|{\lambda }_t)对于{\lambda }_{t+1}是常数所以可以省略。$
其中${\lambda }^t=({\pi }^t,A^t,B^t)$
令:$$\begin{gathered} Q(\lambda ,{\lambda }^t)=\sum _{I}logp(O,I|\lambda )\cdot p(O,I|{\lambda }^t) \\ =\sum _I[(log{\pi }_{i_1})+\sum _{t=2}^{T}log{a}_{i_{t-1},i_t}+\sum _{t=1}^N{b}_{i_t}(o_t))\cdot p(O,I|{\lambda }^t)] \end{gathered}$$
以求解${\pi }^{t+1}$为例:
$$\begin{gathered} {\pi }^{t+1}=arg\underset{\pi }{\max }Q(\lambda ,{\lambda }^t) \\ =arg\underset{\pi }{\max }\sum _I[log{\pi }_{i_1}\cdot p(O,I|{\lambda }^t)] \\ =arg\underset{\pi }{\max }\sum _{i_1}\cdot \cdot \cdot \sum _{i_T}[log{\pi }_{i_1}\cdot p(O,i_1,...,i_T|{\lambda }^t)] \\ =arg\underset{\pi }{\max }\sum _{i_1}[log{\pi }_{i_1}p(O,i_1|{\lambda }^t)] \\ =arg\underset{\pi }{\max }\sum _{i=1}^N[log{\pi }_{i}p(O,i_1=q_i|{\lambda }^t)] \\ (s.t.\sum _{i=1}^N{\pi }_i=1) \end{gathered}$$
因为上述公式是有约束的，定义拉格朗日函数：
$$\zeta (\pi ,\eta )=\sum _{i=1}^N[log{\pi }_{i}p(O,i_1=q_i|{\lambda }^t)]+\eta (\sum _{i=1}^N{\pi }_i-1)$$
$$\begin{gathered} \frac{\partial \zeta }{\partial {\pi }_i}=\frac{1}{{\pi }_i}p(O,i_1=q_i|{\lambda }^t)+\eta =0 \\ p(O,i_1=q_i|{\lambda }^t)+{\pi }_i\eta =0 \\ \sum _{i=1}^N[p(O,i_1=q_i|{\lambda }^t)+{\pi }_i\eta ]=0 \\ p(O|{\lambda }^t)+\eta =0 \\ \eta =-p(O|{\lambda }^t) \end{gathered}$$
带入上式中：
$${\pi }_i^{t+1}=\frac{p(O,i_1=q_i|{\lambda }^t)}{p(O|{\lambda }^t)}$$
所以${\pi }^{t+1}=({\pi }_1^{t+1},...,{\pi }_N^{t+1})$

3.3 Decoding

利用viterbi算法，记：
$${\delta }_t(i)=\underset{i_1,...,i_{t-1}}{\max }p(o_1,...,o_t,i_1,...,i_{i-1},i_t=q_i)$$
$$\begin{gathered} {\delta }_{t+1}(j)=\underset{i_1,...,i_t}{\max }p(o_1,...,o_{t+1},i_1,...,i_i,i_{t+1}=q_j) \\ =\underset{1\le i\le N}{\max }{\delta }_t(i)a_{i,j}{b}_j(o_{t+1}) \end{gathered}$$
$${\phi }_{t+1}(j)=arg\underset{1\le i\le N}{\max }{\delta }_t(i)a_{ij}$$
       维特比算法，通过动态规划的思想，将大的问题逐步分解成小的问题，再通过依次解决每个小问题解决的问题。他的思想是当计算$t+1$时刻的最优状态时，他们提前保存上一时刻时到达每个状态的最优路径，通过该方法减少计算量。
例题见《统计学习方法》10.3

4HMM vs MEMM

5 参考

https://www.bilibili.com/video/av32471608/?p=1