nlp基础—7.隐马尔可夫模型(HMM算法)

引言

  HMM算法的知识体系如下：

可以总结为两个基本假设，两个集合(序列)，三个参数，三个基本问题。

一、隐马尔可夫模型的定义

  隐马尔科夫模型是关于时序的概率模型，描述由一个隐藏的马尔科夫链随机生成不
可观测的随机状态序列，再由各个状态生成一个观测从而产生观测随机序列的过程。隐藏的马尔科夫链随机生成的状态序列，称为状态序列(state sequence);每个状态生成一个观测，而由此产生的观测的随机序列，称为观测序列(observationsequence)。序列的每一个位置又可以看做是一个时刻。

1. 两个集合(序列)

  设Q是所有可能的状态的集合，V是所有可能的观测集合；状态集合、观测集合定义如下：
Q = { q 1 , q 2 , . . . , q N } Q=\{q_1,q_2,...,q_N\} Q={ q1​,q2​,...,qN​}
V = { v 1 , v 2 , . . . , v N } V=\{v_1,v_2,...,v_N\} V={ v1​,v2​,...,vN​}

  设I是长度为T的状态序列，O是长度为T的观测序列：
$$I=(i_1,i_2,...,i_T)$$
$$O=(o_1,o_2,...,o_T)$$

2. 两个基本假设

• 齐次马尔科夫性假设
  假设隐藏的马尔科夫链在任意时刻t的状态只依赖于其前一时刻的状态，与其他时刻的状态及观测无关，也与时刻t无关
  $$\begin{gathered} P(i_t|i_{t-1},o_{t-1},...,i_1,o_1)=P(i_t|i_{t-1}), \\ t=1,2,...,T \end{gathered}$$
• 观测独立性假设
  假设任意时刻的观测只依赖于该时刻的马尔科夫链的状态，与其他观测及状态无关
  $$P(o_t|i_T,o_T,i_{T-1},o_{T-1},...,i_{t+1},o_{t+1},i_t,i_{t-1},o_{t-1},i_1,o_1)=P(o_t|i_t)$$

3. 三个参数

  隐马尔科夫模型由初始状态概率向量$\pi$、状态转移概率矩阵$A$以及观测概率矩阵$B$决定。$\pi$和$A$决定状态序列，$B$决定观测序列。因此，隐马尔可夫模型$\lambda$可以用三元符号
$$\lambda =(A,B,\pi )$$表示。

• $A$是状态转移概率矩阵
  $$A=[a_{ij}{]}_{N\times N}$$
  其中，
  $$\begin{gathered} a_{ij}=P(i_{t+1}=q_j|i_t=q_i) \\ i=1,2,...,N \\ j=1,2,...,N \end{gathered}$$
  $a_{ij}$是在时刻$t$处于状态$q_i$的条件下在时刻$t+1$转移到状态$q_j$的概率。
  
• $B$是观测概率矩阵
  $$B=[b_j(k){]}_{N\times M}$$