隐马尔可夫模型学习

隐马尔可夫模型学习

基本概念

HMM五元组

• 观测序列-O
• 状态序列-I
• 初始状态概率向量-π
• 状态转移概率矩阵-A
• 观测概率矩阵-B

HMM三要素

• 初始状态概率向量-π
• 状态转移概率矩阵-A
• 观测概率矩阵-B

两个基本假设

• 齐次马尔科夫性假设
  $$\begin{array}{r}P(i_t|i_{t-1},o_{t-1},\dots ,i_1,o_1)=P(i_t|i_{t-1}),t=1,2,\dots ,T\end{array}$$
• 观测独立性假设
  $$\begin{array}{r}P(o_t|i_T,o_T,i_{T-1},o_{T-1},\dots ,i_{t+1},o_{t+1},i_t,i_{t-1},o_{t-1},\dots ,i_1,o_1)=P(o_t|i_t)\end{array}$$

案例

有三个骰子：

• 六面体：$(1,2,3,4,5,6)$
• 八面体：$(1,2,3,4,5,6,7,8)$
• 四面体：$(1,2,3,4)$
  放到黑盒子，有放回的抽取骰子并投掷骰子观测此时的数字。
  状态集合： Q = { D 4 , D 6 , D 8 } , N = 3 Q=\{D4,D6,D8\},N=3 Q={D4,D6,D8},N=3
  观测集合： V = { 1 , 2 , 3 , 4 , 5 , 6 , 7 , 8 } , M = 8 V=\{1,2,3,4,5,6,7,8\},M=8 V={1,2,3,4,5,6,7,8},M=8
  观测序列： O = { 1 , 6 , 3 , 5 , 2 , 7 , 3 , 5 , 2 , 4 } O=\{1,6,3,5,2,7,3,5,2,4\} O={1,6,3,5,2,7,3,5,2,4}
  初试概率分布：$\pi =(\frac{1}{3},\frac{1}{3},\frac{1}{3}{)}^{\text{T}}$
  状态转移概率分布：$A=\left[\begin{array}{ccc}0.1& 0.5& 0.4\\ 0.4& 0.1& 0.5\\ 0.3& 0.5& 0.2\end{array}\right]$
  观测概率分布：$B=\left[\begin{array}{cccccccc}0.25& 0.25& 0.25& 0.25& 0& 0& 0& 0\\ \frac{1}{6}& \frac{1}{6}& \frac{1}{6}& \frac{1}{6}& \frac{1}{6}& \frac{1}{6}& 0& 0\\ 0.125& 0.125& 0.125& 0.125& 0.125& 0.125& 0.125& 0.125\end{array}\right]$

HMM三类问题

• 概率计算问题:给定模型$\lambda =(\pi ,A,B)$和状态序列O的情况下，求在模型$\lambda =(\pi ,A,B)$下观测序列O出现的概率$P(O|\lambda )$。(Forward-backward算法)
• 解码问题:已知模型$\lambda =(\pi ,A,B)$和观测序列O,求对给定观测序列条件概率$P(I|O)$最大的状态序列，即给定观测序列，求最有可能的对应状态序列。(viterbi算法)
• 学习问题:观测序列O已知的情况下，求解模型$\lambda =(\pi ,A,B)$参数， 使得在该模型下观测序列概率$P(O|\lambda )$最大。(极大似然估计算法)