统计学习方法——隐马尔可夫模型（一）

隐马尔可夫模型（一）

隐马尔科夫模型（HMM）是可用于标注问题的统计学方法。

隐马尔科夫模型的基本概念

隐马尔科夫模型的定义

• 隐马尔科夫模型是关于时序的概率模型，描述由一个隐藏的马尔可夫链随机生成不可观测的状态随机序列，再由各个状态生成一个观测而产生观测随机序列的过程。
• 状态序列：隐藏的马尔可夫链随机生成的状态的序列
• 观测序列：每个状态产生一个观测
• 隐马尔可夫模型的形式定义：
  • 相关参数
    • 设$Q$是所有可能的状态的集合，$V$是所有可能的观测的集合，
      Q = { q 1 , q 2 , ⋯   , q N } , V = { v 1 , v 2 , ⋯   , v M } Q = \left\{ {{q_1},{q_2}, \cdots ,{q_N}} \right\},V = \left\{ {{v_1},{v_2}, \cdots ,{v_M}} \right\} Q={q1​,q2​,⋯,qN​},V={v1​,v2​,⋯,vM​}
      其中$N$为可能的状态数，$M$为可能的观测数。
    • $I$是长度为$T$的状态序列，$O$是对应的观测序列
      I = { i 1 , i 2 , ⋯   , i T } , O = { o 1 , o 2 , ⋯   , o T } I = \left\{ {{i_1},{i_2}, \cdots ,{i_T}} \right\},O = \left\{ {{o_1},{o_2}, \cdots ,{o_T}} \right\} I={i1​,i2​,⋯,iT​},O={o1​,o2​,⋯,oT​}
    • $A$是状态转移概率矩阵
      $$A={\left[a_{ij}\right]}_{N\times N}$$
      其中：
      $$a_{ij}=P\left(i_{t+1}=q_j|i_t=q_i\right),i=1,2,\cdots ,N;j=1,2,\cdots ,N$$
      是在时刻$t$处于状态$q_i$的条件下在时刻$t+1$转移到状态$q_j$的概率。
    • $B$为观测概率矩阵：
      $$B={\left[b_j\left(k\right)\right]}_{N\times N}$$
      其中
      $$b_j\left(k\right)=P\left(o_t=v_k|i_t=q_j\right),k=1,2,\cdots ,M;j=1,2,\cdots ,N$$
      是在时刻$t$处于状态$q_j$的条件下生成观测$v_k$的概率。
    • $\pi$是初始状态概率向量：
      $$\pi =\left({\pi }_i\right)$$
      其中
      $${\pi }_i=P\left(i_1=q_i\right),i=1,2,\cdots ,N$$
      是时刻$t=1$处于状态$q_i$的概率。
  • 隐马尔科夫模型表示
    隐马尔科夫模型$\lambda$可以用三元符号表示，即：
    $$\lambda =\left(A,B,\pi \right)$$
    $A,B,\pi$称为隐马尔科夫模型的三要素。

隐马尔科夫模型的基本假设

• 齐次马尔可夫性假设
  假设隐藏的马尔可夫链在任意时刻$t$的状态只依赖于其前一时刻的状态，与其他均无关。
• 观测独立性假设
  假设任意时刻的观测只依赖于该时刻的马尔可夫链的状态，与其他均无关。

观测序列生成

• 输入：隐马尔科夫模型$\lambda =\left(A,B,\pi \right)$，观测序列长度$T$
• 输出：观测序列$O$
• 流程：
  • 按照初始状态分布$\pi$产生状态$i_1$
  • 令$t=1$
  • 按照状态$i_t$的观测概率分布$b_{i_t}\left(k\right)$生成$o_t$
  • 按照状态$i_t$的转移概率分布 { a i t i t + 1 } \left\{ {{a_{{i_t}{i_{t + 1}}}}} \right\} {ait​it+1​​}产生状态$i_{t+1},i_{t+1}=1,2,\cdots ,N$
  • 令$t=t+1$，如果$t<T$，则返回第三步，否则终止。

隐马尔可夫模型的三个基本问题

• 概率计算问题
  给定模型$\lambda =\left(A,B,\pi \right)$和观测序列$O$，计算在模型$\lambda$下观测序列$O$出现的概率$P\left(O|\lambda \right)$。
• 学习问题
  已知观测序列$O$，估计模型$\lambda =\left(A,B,\pi \right)$参数，使得在该模型下观测序列概率$P\left(O|\lambda \right)$最大，即使用极大似然估计的方法估计参数。
• 预测问题（解码问题）
  已知模型$\lambda =\left(A,B,\pi \right)$和观测序列$O$，求对给定观测序列条件概率$P\left(I|O\right)$最大的状态序列$I$，即给定观测序列，求最有可能的对应的状态序列。

参考文献

《统计学习方法》