隐式马尔科夫链与维特比算法

原创 2009年06月15日 20:02:00

1. 隐式马尔科夫链: 马尔科夫链是一系列的状态转换,设为x1...xn,其中xn至于xn-1相关,假设xi 会以p(i)的概率产生yi, 如下图所示:

 

观察到的是Y的序列,由于X序列不可见,是隐式的,因此称为隐式马尔科夫链

 

真实系统中,x与y之间有可能不是一一对应的关系,但总有一个从X到Y的概率

 

现在我们观察到了一个Y的序列,要计算如下两件事情:

1. Y这个序列出现的概率多大?

2. 要出现Y这个序列,则概率最大的X序列是什么?

 

第一个问题:

假设X序列初始状态是Xi的概率为Ii, P(Xi|Xj) = Aij, P(Yi|Xi) = Bi

则Y序列的初始状态是Yi的概率为:P(Yi) =  Ii * Bi

P(Yi + 1) = sum(P(Xi + 1) | Xi) * Bi + 1

 

即,因此要计算序列Y1...Yn的概率,需要计算P(Xn | Y1...Yn-1),计算过程如下:

观察到事实Y1, 计算从状态Xi到所有其他状态在Xj这个事实下的转换概率,计算出在Y1这个事实下,所有X1...Xn的出现概率,依次如此计算,最后计算出Y1...Yn的概率

 

第二个问题:

由于马尔科夫链的关系,假设我们已经求出对应这Y1...Yi的最大概率X序列,那么对Yi +1, 我们只需计算Yi 到 Yi + 1的最大概率序列即可,即是从状态1到状态2的最大概率与状态2到状态3的最大概率无关。

 

举例如下:

例子来自于wiki:http://en.wikipedia.org/wiki/Viterbi_algorithm

 

网上还有一篇非常详细地介绍hmm的文章:

http://jedlik.phy.bme.hu/~gerjanos/HMM/node2.html#SECTION00200000000000000000

相关文章推荐

维特比算法—解隐含马尔科夫链最大后验概率

维特比算法说白了就是动态规划实现最短路径,只要知道“动态规划可以降低复杂度”这一点就能轻松理解维特比算法 维特比算法在机器学习中非常重要,在求解隐马尔科夫和条件随机场的预测问题中均用到了维特比算法。...

拼音转汉字算法(隐马尔科夫、维特比算法)

求解拼音转化为语句的问题,在该问题中会使用到隐马尔科夫模型和维特比算法。...

隐马尔科夫模型(HMMs)之五:维特比算法及前向后向算法

维特比算法(Viterbi Algorithm)   找到可能性最大的隐藏序列 通常我们都有一个特定的HMM,然后根据一个可观察序列去找到最可能生成这个可观察序列的隐藏序列。   1.穷举搜...
  • xywlpo
  • xywlpo
  • 2011年08月31日 20:36
  • 8260

中文分词与马尔科夫模型之二:隐马尔科夫模型与维特比

转载自: 前面一篇博客讲到了中文分词的机械分词算法,这种算法实现相对比较简单,但是分词效果还是有待商榷。比如下面这样一句话:产量三年中将增长两倍。按照机械分词的算法,它可能会被分成这样一种形...

马尔科夫链MCMC采样算法和LDA Gibbs Sampling

马氏链及其平稳分布 马氏链的数学定义很简单 P(Xt+1=x|Xt,Xt−1,⋯)=P(Xt+1=x|Xt) 也就是状态转移的概率只依赖于前一个状态。 我们先来看马氏链的一个具体的例子。社...

马尔科夫链算法

link:http://www.cnblogs.com/zhuyp1015/archive/2012/06/18/2554088.html 这里介绍的马尔科夫链算法实现的功能是:读入一段英文文本...

中文分词与马尔科夫模型之二(隐马尔科夫模型与维特比)

前面一篇博客讲到了中文分词的机械分词算法,这种算法实现相对比较简单,但是分词效果还是有待商榷。比如下面这样一句话:产量三年中将增长两倍。按照机械分词的算法,它可能会被分成这样一种形式:产量| 三年 |...
  • nocml
  • nocml
  • 2012年07月12日 08:56
  • 2183

白话机器学习算法(十六)HMM 隐马尔科夫链

隐马尔科夫链主要是两部分:

c++写的马尔科夫聚类算法(MCL)

  • 2013年12月20日 22:04
  • 752KB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:隐式马尔科夫链与维特比算法
举报原因:
原因补充:

(最多只允许输入30个字)