隐马尔可夫模型

隐马尔可夫模型简介

隐马尔可夫模型(Hidden Markov Model,HMM)是可用于标注问题的统计学习模型，描述由隐马尔可夫链随机生成观测序列的过程，属于生成模型. 序列的每一个位置被看作是一个时刻.

隐马尔可夫模型的定义

定义 (隐马尔可夫模型)
设$Q$是所有可能的状态的集合，$V$是所有可能的观测的集合.
$$Q=q_1,q_2,\dots q_N,V=v_1,v_2,\dots v_M$$
其中，$N$是可能的状态数，$M$是可能的观测数.
$I$是长度维$T$的状态序列，$O$是对应的观测序列.
$$I=i_1,i_2,\dots i_T,O={}_1,o_2,\dots o_T$$
$A$是状态转移概率矩阵:
$$\begin{array}{r}A=[a_{ij}{]}_{N\times N}\end{array}\text{\hspace{1em}(1.1)}$$
其中，
$$a_{ij}=P(i_{t+1}=q_j|i_t=q_i),i=1,2,\dots N\text{\hspace{1em}(1.2)}$$
是在时刻$t$处于状态$q_i$的条件下在时刻$t+1$转移到状态$q_j$的概率.

$B$是观测概率矩阵:
$$\begin{array}{r}B=[b_j(k){]}_{N\times M}\end{array}\text{\hspace{1em}(1.3)}$$
其中，
$$b_j=P(o_t=v_k|i_t=q_j),k=1,2,\dots M,j=1,2,\dots N\text{\hspace{1em}(1.4)}$$
是在时刻$t$处于状态$q_j$的条件下生成观测$v_k$的概率.

$\pi$是初始状态概率向量:
隐马尔可夫模型由初始状态概率向量$\pi$、状态转移概率矩阵$A$和观测概率矩阵$B$决定，$A$和$\pi$决定状态序列，$B$决定观测序列。隐马尔可夫模型$\lambda$可以用三元符号表示
$$\lambda =(A,B,\pi )\text{\hspace{1em}(1.5)}$$
$\pi$、$B$、$A$称为隐马尔可夫模型的三要素.

隐马尔科夫模型的两个基本假设：

• 齐次马尔可夫性假设，即假设隐藏的马尔可夫链在任意时刻$t$的状态只依赖于其前一时刻的状态，与其他时刻的状态及观测无关，也与时刻$t$无关.
  $$P(i_t|i_{t-1},o_{t-1},\dots ,i_1,o_1)=P(i_t|i_{t-1}),t=1,2,\dots T\text{\hspace{1em}(1.6)}$$
• 观测独立性假设，即假设任意时刻的观测只依赖于该时刻的马尔可夫链的状态，与其他观测及状态无关.
  $$P(o_t|i_T,o_T,\dots ,i_{t+1},o_{t+1},i_t,i_{t-1},o_{t-1},{\cdots }_1,o_1)=P(o_t|i_t)\text{\hspace{1em}(1.7)}$$
  隐马尔可夫模型可以用于标注，这是2状态对应着标记.

隐马尔可夫模型的三个基本问题

1. 概率计算问题.

   给定模型$\lambda =(A,B,\pi )$和观测序列$O={}_1,o_2,\dots o_T$，计算在模型$\lambda$下观测序列$O$出现的概率$P(O|\lambda )$.

2. 学习问题
   已知观测序列$O={}_1,o_2,\dots o_t$，估计模型$\lambda =(A,B,\pi )$的参数，使得在该模型下观测序列概率$P(O|\lambda )$最大.即用极大似然估计的方法估计参数.

3. 预测问题，也称为解码问题.

   已知模型$\lambda =(A,B,\pi )$和观测序列$O={}_1,o_2,\dots o_t$，求对给定观测序列条件概率$P(I|O)$最大的状态子序列$I=(i_1,i_2,\dots i_T)$.即给定观测序列，求最有可能的对应的状态序列.

概率计算算法

直接计算法

给定模型$\lambda =(A,B,\pi )$和观测序列$O={}_1,o_2,\dots o_t$，计算观测序列出现的概率$P(O|\lambda )$.最直接的方法是按概率公式直接计算.通过列举所有可能的长度为$T$的状态序列$I=(i_1,i_2,\dots i_T)$，求各个状态序列与观测序列的联合概率$P(O,I|\lambda )$，然后对所有可能的状态序列求和，得到$P(O|\lambda )$.

状态序列$I=(i_1,i_2,\dots i_T)$的概率是
$$P(I|\lambda )={\pi }_{i_1}{a}_{i_1{i}_2}{a}_{i_2{i}_3}\cdots a_{i_{T-1}{i}_T}\text{\hspace{1em}(2.1)}$$
对固定的状态序列$I=(i_1,i_2,\dots i_T)$，观测序列 O = { o 1 , o 2 , … o t } O=\{o_1,o_2,\dots o_t\} O={ o1​,o2​,…ot​}的概率是$P(O|I,\lambda )$，
$$P(O|I,\lambda )=$$