隐马尔科夫模型(HMM)

HMM是生成模型，根据HMM,可以计算$P(O,I)$的联合概率，其中$O$是观测序列，$I$是隐藏序列。HMM中三个典型问题：1.概率计算问题 2.模型参数估计问题 3.预测问题

首先，隐马尔科夫模型里有两条假设：

1. 假设一：
   隐藏的马尔科夫链在任意时刻$t$的状态只依赖前一时刻的状态

2. 假设二：
   任意时刻的观测只依赖于该时刻的隐状态

由此，引出隐马尔科夫模型的三个重要参数：$\pi ,A,B$

• $\pi$是初始状态概率向量，${\pi }_i=P(i_1=q_i)$是t=1时刻，隐状态为$q_i$的概率。

• $A$是状态转移概率矩阵，假设状态数是$N$，那么$A$是$N\times N$的矩阵，其中$a_{ij}=P(i_t=q_j|i_{t-1}=q_i)$表示时刻t-1的状态为$q_i$的条件下，时刻t的状态为$q_j$的概率。

• $B$是观测概率矩阵，假设观测数是$M$,那么$B$是$N\times M$的矩阵，其中$b_j(k)=P(o_t=v_k|i_t=q_j)$表示时刻t为状态$q_j$的条件下，生成观测$v_k$的概率。

隐马尔科夫模型由初始概率矩阵$\pi$、状态转移概率矩阵$A$和观测概率矩阵$B$决定。$\pi$和$A$决定状态序列，$B$决定观测序列。$\pi ,A,B$称为隐马尔科夫模型的三要素。

---

隐马尔科夫模型的三个基本问题

1. 概率计算问题。给定模型参数$\lambda =(\pi ,A,B)$和观测序列$O=(o_1,o_2,...,o_T)$，计算$P(O|\lambda )$

2. 学习问题。已知观测序列$O=(o_1,o_2,...,o_T)$，求解模型参数$\lambda =(\pi ,A,B)$使得在该模型参数下，$P(O|\lambda )$最大

3. 预测问题。给定模型参数$\lambda =(\pi ,A,B)$和观测序列$O=(o_1,o_2,...,o_T)$，求解使得$P(I|O)$最大的状态序列$I=(i_1,i_2,...,i_T)$

---

问题1：概率计算问题
用前向算法或者后向算法求解。

• 前向算法
  定义前向概率，${\alpha }_t^i=P(o_1,o_2,...,o_t,i_t=q_i)$。可以通过递推法求解观测序列概率$P(O|\lambda )$。
  观测序列概率计算的前向算法步骤如下：
  输入：隐马尔科夫模型$\lambda$，观测序列$O$
  输出：观测序列概率$P(O|\lambda )$
  step1: 初始化前向概率
  ${\alpha }_1^i={\pi }_i{b}_i(o_1)$, i=1,2,…,N
  step2:递推求解各个时刻的${\alpha }_t^i$
  ${\alpha }_t^i={\sum }_{j=1}^{j=N}{\alpha }_{t-1}^j{a}_{ji}{b}_i(o_t)$，$t=2,3,...,Ti=1,2,...,N$
  step3:求得目标观测序列概率$P(O|\lambda )$
  $P(O|\lambda )={\sum }_i{\alpha }_T^i$

在step2递推过程中，可以理解为，$t$时刻的状态$i$可以由前面时刻任意状态转换而来。

• 后向算法
  定义后向概率，${\beta }_t^i=P(o_{t+1},o_{t+2},...,o_T|i_t=q_i)$。可以通过递推法求解观测序列概率$P(O|\lambda )$。
  观测序列概率计算的后向算法步骤如下：
  输入：隐马尔科夫模型$\lambda$，观测序列$O$
  输出：观测序列概率$P(O|\lambda )$
  step1:初始化后向概率
  ${\beta }_T^i=1,i=1,2,...,N$
  step2:递推求解各个时刻的${\beta }_t^i$
  ${\beta }_t^i={\sum }_j{\beta }_{t+1}^j{a}_{ij}{b}_j(o_{t+1})$，$t=T-1,T-2,...,1i=1,2,...,N$
  step3:求得目标观测序列概率$P(O|\lambda )$
  $P(O|\lambda )={\sum }_j{\pi }_j{\beta }_1^j{b}_j(o_1)$

条件概率意味着给定某某，求其他的概率。当反向递推时，只要意识到给定状态$i$，可以由它转移到任意概率$j$即可。

• 前向-后向结合
  在前向算法中，前向概率${\alpha }_t^i=P(o_1,o_2,...,o_t,i_t=q_i)$
  在后向算法中，后向概率${\beta }_t^i=P(o_{t+1},o_{t+2},...,o_T|i_t=q_i)$
  $P(O|\lambda )={\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_t^i{a}_{ij}{\beta }_{t+1}^j{b}_j(o_{t+1})$

---

我们先讲解问题三：预测问题
给定模型参数$\lambda =(\pi ,A,B)$和观测序列$O=(o_1,o_2,...,o_T)$，求解使得$P(I|O)$最大的状态序列$I=(i_1,i_2,...,i_T)$。
用维特比算法求解。
维特比算法是用动态规划思想来求解隐马尔科夫模型预测问题的。我们需要求解使得$P(I|O)$最大的状态序列$I=(i_1,i_2,...,i_T)$，那么从初始时刻到任意时刻，其对应的状态序列和观测序列的联合概率必须是最大的。
简单来说，我们想找到从A到B的最长路径，途径C。如果A到B的最长路径是$l$，那么$l_{AC}$一定是从A到C最长的路径，否则我们可以用更长的$l_{AC}$来代替，那么此时和$l$是最长路径矛盾了。因此我们知道对于部分路径，它必须是最长的。根据这一原理，我们可以递推地求解。

定义：${\gamma }_t^i=\max P(i_1,i_2,...,i_t=q_i,o_1,o_2,...,o_t)$
可以递推
${\gamma }_{t+1}^i=\underset{1\le j\le N}{\max }{\gamma }_t^j{a}_{ji}{b}_i(o_{t+1})$
定义$t$时刻状态为$i$单个路径概率最大的前一个节点是
$pat{h}_t^i=\arg \underset{1\le j\le N}{\max }{\gamma }_{t-1}^j{a}_{ji}$

维特比算法具体步骤：
输入：隐马尔科夫模型$\lambda$，观测序列$O$
输出：最优路径$I^{\ast }$
step1:初始化
${\gamma }_1^i={\pi }_i{b}_i(o_1)$, $i=1,2,...,N$
$pat{h}_1^i=0$, $i=1,2,...,N$
step2:递推
${\gamma }_t^i=\underset{1\le j\le N}{\max }{\gamma }_{t-1}^j{a}_{ji}{b}_i(o_t)$, $i=1,2,...,N$
$pat{h}_t^i=\arg \underset{1\le j\le N}{\max }{\gamma }_{t-1}^j{a}_{ji}$
step3:
$P\ast =\underset{i}{\max }{\gamma }_T^i$
$i_T^{\ast }=\arg \underset{i}{\max }{\gamma }_T^i$
step4:最优路径回溯：$t=T-1,T-2,...,1$
$i_t^{\ast }=pat{h}_{t+1}^{i_{t+1}^{\ast }}$

---

问题2：学习算法
已知观测序列$O=(o_1,o_2,...,o_T)$，求解模型参数$\lambda =(\pi ,A,B)$使得在该模型参数下，$P(O|\lambda )$最大

• 监督学习算法
  

• 非监督学习算法----Baum-Welch算法（EM算法）
  第一步：确定完全数据的对数似然函数
  
  第二步：E步，写出Q函数
  我们写出Q函数之后后面就要对它进行极大化，也就是说EM算法的M步骤。既然是最大化，那么只要保证不影响最终的结果，对Q函数进行对于最大化来说没有影响的常数因子乘除是可以的。为什么要这么做呢？这是为了后面将概率计算问题中有意义的一些概率计算公式直接套进去。
  
  step3:M步，极大化Q函数