隐马尔可夫模型HMM--hidden markov models
HMM基本思想
1.马尔可夫链
随机序列Xt在任一时刻t可以处在状态1,2,3……且在t+k时刻所处状态为q_t+k的概率仅与它在t时刻的状态qt有关,与t时刻以前它所处的状态无关(其中q都属于状态123中)则称Xt为马尔可夫链。k步转移概率(记为Pxy(k),在t时刻状态为x的条件下,t+k时刻状态为y的概率)与时间无关时,称为齐次马尔可夫链。k=1时称为一步转移概率,简称转移概率,记为aij,所有转移概率构成转移概率矩阵A,除此之外还需要引入初始概率。实际中马尔可夫链的每一状态可以对应于一个可观测到的物理事件。
HMM基本思想:
著名的ball and urn(球和缸)实验解释--【简述】N个缸,每个缸里有若干彩色球,随机选缸并从中选球,有放回,每次记录球的颜色,每次观测值不仅与每个缸中彩球的颜色分布有关,还和每次选择哪个缸的转移概率矩阵有关--缸的隐含序列,球的显性观测序列。
HMM定义:
N马尔可夫链状态数--缸的个数;
M每个状态对应的观察值个数--每个缸中彩球的颜色数
pi初始状态概率--实验开始时选取某个缸的概率
A状态转移概率矩阵--描述当前缸的条件下选取下一个缸的概率
B观察值概率矩阵--第j个缸中球的颜色k出现的概率
于是可以记HMM为lamda=(N,M,pi,A,B)
HMM可分为两个部分--马尔可夫链(pi,A)和随机过程(B描述)
*HMM基本算法
①前向后向算法 用来计算给定一个观察值序列O和一个模型lamda,又lamda产生O的概率(直接求法计算量大,前向后向算法计算量相对减小)
②维特比算法 给定一个观察值序列O和模型lamda,如何确定一个最佳状态序列
③Baum-Welch算法 用于解决HMM训练的问题 给定一个观察值序列 O,确定一个lambda=(pi,A,B),使P(O|lambda)最大