隐马尔可夫模型（一）

隐马尔可夫模型
隐马尔可夫模型$\text{(hiddenMarkovmodel,HMM)}$是可用于标注问题的统计学习模型，描述由隐藏的马尔可夫随机生成观测序列的过程，属于生成模型。
一、 隐马尔可夫模型的基本概念
定义1(隐马尔可夫模型) 隐马尔可夫模型是关于时序的概率模型，描述有一个隐藏的马尔可夫链随机生成不可预测的状态随机序列，再由各个状态生成一个观测而产生观测随机序列的过程。隐藏的马尔可夫链随机生成的状态的序列，称为状态序列(state sequence)；每个状态生成一个观测，而由此产生的观测的随机序列，称为观测序列(observation sequence)。序列的每一个位置又可以看作是一个时刻。
隐马尔可夫模型是由初始概率分布、状态概率分布以及观测概率分布确定。
隐马尔可夫模型的形式定义如下：
设$Q$是所有可能的状态的集合，$V$是所有可能的观测的集合 Q = { q 1 , q 2 , ⋯   , q N } , V = { v 1 , v 2 , ⋯   , v M } Q=\left\{q_{1}, q_{2}, \cdots, q_{N}\right\}, \quad V=\left\{v_{1}, v_{2}, \cdots, v_{M}\right\} Q={q1​,q2​,⋯,qN​},V={v1​,v2​,⋯,vM​}其中，$N$是可能的状态数，$M$是可能的观测数
$I$是长度为$T$的状态序列，$Q$是对应的观测序列$$I=\left(i_1,i_2,\cdots ,i_T\right),O=\left(o_1,o_2,\cdots ,o_T\right)$$$A$是状态转移概率矩阵：$$A={\left[a_{ij}\right]}_{N\times N}$$其中，$$a_{ij}=P\left(i_{t+1}=q_j|i_t=q_i\right),i=1,2,\cdots ,N;j=1,2,\cdots ,N$$是在时刻$t$处于状态$q_i$的条件下在时刻$t+1$转移到状态$q_j$的概率
$B$是观测概率矩阵：$$B={\left[b_j(k)\right]}_{N\times M}$$其中，$$b_j(k)=P\left(o_t=v_k|i_t=q_j\right),k=1,2,\cdots ,M;j=1,2,\cdots ,N$$是在时刻$t$处于状态$q_j$的条件下生成观测$v_k$的概率
$\pi$是初始状态概率向量：$$\pi =\left({\pi }_i\right)$$其中
$${\pi }_i=P\left(i_1=q_i\right),i=1,2,\cdots ,N$$
是时刻$t=1$处于状态$q_i$的概率
隐马尔可夫模型是由初始状态概率向量$\pi$、状态概率转移矩阵$A$和观测概率矩阵$B$决定，$\pi$和$A$决定状态序列，$B$决定观测序列。因此，隐马尔可夫模型$\lambda$可以用三元符号表示，即 $$\lambda =(A,B,\pi )$$ $A,B,\pi$称为隐马尔可夫模型的三要素。
状态转移概率矩阵$A$与初始状态概率向量$\pi$确定了隐藏的马尔可夫链，生成了不可观测的状态序列，观测概率矩阵$B$确定了如何从状态生成观测，与状态序列确定了如何产生观测序列
从定义知，隐马尔可夫模型作了两个基本假设：
$(1)$ 齐次马尔可夫性假设，即假设隐藏的马尔可夫链在任意时刻$t$的状态只依赖于其前一时刻的状态，与其他时刻的状态及观测无关，也与时刻$t$无关$$P\left(i_t|i_{t-1},o_{t-1},\cdots ,i_1,o_1\right)=P\left(i_t|i_{t-1}\right),t=1,2,\cdots ,T$$
$(2)$ 观测独立性假设，即任意时刻的观测只依赖于该时刻的马尔可夫链状态，与其他观测及状态无关。$$P\left(o_t|i_T,o_T,i_{T-1},o_{T-1},\cdots ,i_{t+1},o_{t+1},i_{t-1},i_{t-1},\cdots ,i_1,o_1\right)=P\left(o_t|i_t\right)$$隐马尔可夫模型可以用于标注，这时状态对应着标记。标注问题是给定观测的序列预测其对应的标记序列，可以假设标注问题的数据是由隐马尔可夫模型生成的。这样可以利用隐马尔可夫模型的学习与预测算法进行标注。
隐马尔可夫模型的3个基本问题
$(1)$概率计算问题 给定模型$\lambda =(A,B,\pi )$和观测序列$O=\left(o_1,o_2,\cdots ,o_T\right)$，计算在模型$\lambda$下观测序列$O$出现的概率$P(O;\lambda )$
$(2)$学习问题 已知观测序列$O=\left(o_1,o_2,\cdots ,o_T\right)$，估计模型$\lambda =(A,B,\pi )$的参数，使得在该模型下观测序列概率$P(O;\lambda )$最大，即用极大似然估计的方法估计参数。
$(3)$预测问题，也称为解码(decoding)问题. 已知模型$\lambda =(A,B,\pi )$和观测序列$O=\left(o_1,o_2,\cdots ,o_T\right)$，求对给定观测序列条件概率$P(O;\lambda )$最大的状态序列$I=\left(i_1,i_2,\cdots ,i_T\right)$，即给定观测序列，求最有可能的对应的状态序列

二、概率计算方法

本部分介绍计算观测序列概率$P(O;\lambda )$的直接计算法及前向和后向算法
给定模型$\lambda =(A,B,\pi )$和观测序列$O=\left(o_1,o_2,\cdots ,o_T\right)$，计算在模型$\lambda$下观测序列$O$出现的概率$P(O;\lambda )$，最直接的方法是按照概率公式直接计算。通过列举所有可能的长度为$T$的状态序列$I=\left(i_1,i_2,\cdots ,i_T\right)$，求各个状态序列与观测序列$O=\left(o_1,o_2,\cdots ,o_T\right)$的联合概率$P(O,I;\lambda )$，然后对所有可能的状态序列求和，得到$P(O;\lambda )$
状态序列$I=\left(i_1,i_2,\cdots ,i_T\right)$的概率是$$P(I;\lambda )={\pi }_{i_1}{a}_{i_1{i}_2}{a}_{i_2{i}_3}\cdots a_{i_{r-1}{i}_r}$$对固定的状态序列$I=\left(i_1,i_2,\cdots ,i_T\right)$，观测序列$O=\left(o_1,o_2,\cdots ,o_T\right)$的概率是$P(O,I;\lambda )$ $$P(O|I;\lambda )=b_{i_1}\left(o_1\right)b_{i_2}\left(o_2\right)\cdots b_{i_r}\left(o_T\right)$$ $Q$和$I$同时出现的联合概率为$$\begin{gathered} P(O,I;\lambda )=P(O|I;\lambda )P(I;\lambda ) \\ ={\pi }_{i_1}{b}_{i_1}\left(o_1\right)a_{i_1{i}_2}{b}_{i_2}\left(o_2\right)\cdots a_{i_{T-1}{i}_T}{b}_{i_T}\left(o_T\right) \end{gathered}$$然后对所有可能的状态序列$I$求和，得到观测序列$O$的概率$P(O;\lambda )$，即$$\begin{gathered} P(O;\lambda )=\sum _{I}P(O|I;\lambda )P(I;\lambda ) \\ =\sum _{i_1,i_2,\cdots ,t_T}{\pi }_{i_1}{b}_{i_1}\left(o_1\right)a_{i_1{i}_2}{b}_{i_2}\left(o_2\right)\cdots a_{i_{T-1}{i}_T}{b}_{i_T}\left(o_T\right) \end{gathered}$$但，上式的计算量很大，是$O\left(T{N}^T\right)$阶的，前向和后向算法是计算观测序列概率$P(O;\lambda )$的更有效算法
前向算法
定义（前向概率） 给定隐马尔可夫模型$\lambda$, 定义时刻$t$部分观测序列为$o_1,o_2,\cdots ,o_t$且状态为的概率为前向概率，记作${\alpha }_t(i)=P\left(o_1,o_2,\cdots ,o_t,i_t=q_i;\lambda \right)$
可以递推地求得前向概率${\alpha }_t(i)$以及观测序列概率$P(O;\lambda )$
输入：隐马尔可夫模型$\lambda$,观测序列$O$
输出：观测序列概率$P(O;\lambda )$
$(1)$初值$${\alpha }_1(i)={\pi }_i{b}_i\left(o_1\right),i=1,2,\cdots ,N$$ $(2)$递推 对$t=1,2,\cdots ,T-1$ $${\alpha }_{t+1}(i)=\left[\sum _{j=1}^N{\alpha }_t(j)a_{ji}\right]b_i\left(o_{t+1}\right),i=1,2,\cdots ,N$$ $(3)$终止 $$P(O;\lambda )=\sum _{i=1}^N{\alpha }_T(i)$$步骤$(1)$初始化前向概率，是初始时刻状态$i_1=q_i$和观测$o_1$的联合概率。
步骤$(2)$是前向概率的递推公式,${\alpha }_{t+1}(i)$表示的是在时刻$t+1$部分观测序列为 $o_1,o_2,\cdots ,o_t,o_{t+1}$且在时刻$t+1$处于状态$q_i$的前向概率,${\alpha }_t(j)$表示的是在时刻$t$ 观测序列为 $o_1,o_2,\cdots ,o_t$且在时刻$t$处于状态$q_j$的前向概率。乘积${\alpha }_i(j)a_{ji}$就是时刻$t$观测为$o_1,o_2,\cdots ,o_t$且在时刻$t$处于状态$q_j$而在时刻$t+1$到达状态$q_i$的联合概率。对这个乘积在时刻$t$的所有可能的$N$个状态$q_j$求和，得到时刻$t$观测为$o_1,o_2,\cdots ,o_t$ 且在时刻$t+1$到达状态$q_i$的联合概率，与观测概率$b_i\left(o_{t+1}\right)$的乘积恰好是到时刻$t+1$观测到$o_1,o_2,\cdots ,o_t,o_{t+1}$并在时刻$t+1$处于状态$q_i$的前向概率${\alpha }_{t+1}(i)$。
步骤$(3)$ 给出$P(O;\lambda )$的计算公式
因为${\alpha }_T(i)=P\left(o_1,o_2,\cdots ,o_T,i_T=q_i;\lambda \right)$ , 所以$P(O;\lambda )={\sum }_{i=1}^N{\alpha }_T(i)$

后向算法
定义(后向概率) 给定隐马尔可夫模型$\lambda$,定义在时刻$t$状态为$q_i$的条件下，从$t+1$到$T$的部分观测序列为$o_{t+1},o_{t+2},\cdots ,o_T$的概率为后向概率，记作$${\beta }_t(i)=P\left(o_{t+1},o_{t+2},\cdots ,o_T|i_t=q_i;\lambda \right)$$可以用递推的方法求的后向概率${\beta }_t(i)$及观测序列概率$P(O;\lambda )$
观测序列概率的后向算法
输入：隐马尔可夫模型$\lambda$，观测序列$O$
输出：观测序列概率$P(O;\lambda )$
$(1)$ $${\beta }_T(i)=1,i=1,2,\cdots ,N$$
$(2)$ 对$t=T-1,T-2,\cdots ,1$ $${\beta }_t(i)=\sum _{j=1}^N{a}_{ij}{b}_j\left(o_{t+1}\right){\beta }_{t+1}(j),i=1,2,\cdots ,N$$
$(3)$ $$P(O|\lambda )=\sum _{i=1}^N{\pi }_i{b}_i\left(o_1\right){\beta }_1(i)$$步骤$(1)$初始化后向概率，对最终时刻的所有状态$q_i$规定${\beta }_T(i)=1,i=1,2,\cdots ,N$
步骤$(2)$是后向概率的递推公式，为了计算在时刻$t$状态为$q_i$条件下时刻$t+1$之后的观测序列为$o_{t+1},o_{t+2},\cdots ,o_T$的后向概率${\beta }_t(i)=P\left(o_{t+1},o_{t+2},\cdots ,o_T|i_t=q_i;\lambda \right)$，只需考虑在时刻$t+1$所有可能的$N$个状态$q_j$的转移概率（$a_{ij}$）,以及在此状态下的观测$o_{t+1}$的观测概率（$b_j\left(o_{t+1}\right)$），然后考虑状态$q_j$之后的观测序列的后向概率（${\beta }_{t+1}(j)$）
步骤$(3)$ 求$P(O;\lambda )$的思路与步骤$(2)$一致，只是初始概率${\pi }_i$代替转移概率

利用前向概率和后向概率的定义可以将观测序列概率$P(O;\lambda )$统一写成$$P(O;\lambda )=\sum _{i=1}^N\sum _{j=1}^N{\alpha }_t(i)a_{ij}{b}_j\left(o_{i+1}\right){\beta }_{t+1}(j),t=1,2,\cdots ,T-1$$
一些概率和期望值的计算
利用前向概率和后向概率，可以得到关于单个状态和两个状态概率的计算公式

1. 给定模型$\lambda$和观测$O$，在时刻$t$处于状态的概率$q_i$，记$${\gamma }_t(i)=P\left(i_t=q_i|O;\lambda \right)$$可以通过前向后向概率计算。事实上$${\gamma }_t(i)=P\left(i_t=q_i|O;\lambda \right)=\frac{P\left(i_t=q_i,O;\lambda \right)}{P(O;\lambda )}$$由前向概率${\alpha }_t(i)$和后向概率${\beta }_t(i)$定义可知：$${\alpha }_t(i){\beta }_t(i)=P\left(i_t=q_i,O;\lambda \right)$$于是得到：$${\gamma }_t(i)=\frac{{\alpha }_{\mathrm{t}}(i){\beta }_t(i)}{P(O;\lambda )}=\frac{{\alpha }_t(i){\beta }_t(i)}{{\sum }_{j=1}^N{\alpha }_t(j){\beta }_t(j)}$$
2. 给定模型$\lambda$和观测$O$，在时刻$t$处于状态的概率$q_i$且在时刻$t+1$处于状态$q_j$的概率,记$${\xi }_t(i,j)=P\left(i_t=q_i,i_{t+1}=q_j|O;\lambda \right)$$可以通过后向概率计算：$${\xi }_i(i,j)=\frac{P\left(i_t=q_i,i_{t+1}=q_j,O;\lambda \right)}{P(O;\lambda )}=\frac{P\left(i_t=q_i,i_{t+1}=q_j,O;\lambda \right)}{{\sum }_{i=1}^N{\sum }_{j=1}^{N}P\left(i_t=q_i,i_{t+1}=q_j,O;\lambda \right)}$$而 $$P\left(i_t=q_i,i_{t+1}=q_j,O;\lambda \right)={\alpha }_t(i)a_{ij}{b}_j\left(o_{t+1}\right){\beta }_{t+1}(j)$$
   所以 $${\xi }_t(i,j)=\frac{{\alpha }_t(i)a_{ij}{b}_j\left(o_{t+1}\right){\beta }_{t+1}(j)}{{\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_t(i)a_{ij}{b}_j\left(o_{t+1}\right){\beta }_{t+1}(j)}$$
3. 将${\gamma }_t(i)$和${\xi }_i(i,j)$对各个时刻$t$求和，可以得到一些有用的期望值
   $(1)$ 在观测$O$下状态$i$出现的期望值$$\sum _{i=1}^T{\gamma }_t(i)$$
   $(2)$ 在观测$O$下状态$i$转移的期望值$$\sum _{i=1}^{T-1}{\gamma }_t(i)$$ $(3)$ 在观测$O$下状态$i$转移到状态$j$的期望值$$\sum _{t=1}^{T-1}{\xi }_t(i,j)$$