统计学习方法学习笔记：第十章.隐马尔可夫模型

第十章：隐马尔可夫模型

基本概念

首先，隐马尔可夫模型是一个$关于时序的概率模型$，由
初始概率分布：
${\pi }_i=P(i_1=q_i),t=1时刻状态为q_i的概率$
转移状态概率分布：
$A=[a_{ij}{]}_{N\ast N},a_{ij}=P(i_{t+1}=q_j|i_t=q_i)$
表示t时刻为状态q_i，t+1时刻为状态q_j的概率，N为可能的状态数}$
观测概率分布：
$B=[b_j(k){]}_{N\ast M},b_j(k)=P(o_t=v_k|i_t=q_j)，$
表示时刻t处在$q_j$状态的条件下生成观测$v_k$的概率，M为可能的观测值数目
每一个状态生成一个观测，由此生成的序列称为观测序列，每一个时刻对应一个观测。

这样，马尔可夫模型就可以表示为$\lambda =(A,B,\pi )$

两个基本假设：

1. 齐次马尔可夫性假设：
   $任意时刻t的状态只与前一个时刻的状态有关，与其他任意时刻的状态和观测无关$
2. 观测独立假设：
   $任意时刻的观测只与当前的状态有关，与其他观测和状态无关$

三个基本问题：

（1）概率计算问题：
$已知模型\lambda =(A,B,\pi )和观测序列O=(o_1,o_2,...,o_T),计算在模型\lambda 下观测序列O出现的概率P(O|\lambda )$
（2）学习问题：
$已知观测序列O，估计模型\lambda 的参数，使得P(O|\lambda )的概率最大；$
（3）预测问题：
$也称为解码问题，已知模型\lambda 和观测序列O，求解使条件概率P(I|O)最大的状态序列I=(i_1,i_2,...,i_T)$

概率计算算法 （模型评估）

首先直接计算不可行：计算量是$O(T{N}^T)阶$(每一个时刻都有N种状态可能，这样，到时刻T共有N^T种状态序列可能，然后对所有状态序列求和),所以使用计算量更小的$前向-后向算法$

一个重要的条件概率公式：$P$