HMM及维特比算法

最新推荐文章于 2022-10-20 23:20:31 发布
最新推荐文章于 2022-10-20 23:20:31 发布
阅读量530 收藏 2
点赞数 1
分类专栏： 常用算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/caomin1hao/article/details/107922892
版权

参考

HMM：https://blog.csdn.net/sinat_25346307/article/details/79119366

Viterbi算法：https://blog.csdn.net/shenxiaoming77/article/details/79228378

 

一、HMM定义  以词性标注为例说明

图1 词性标注任务

1、问题：如图1所示，已知x，求x的词性标注y。

    该问题转化为数学语言即为：在已知x的条件下计算得y的最大概率，如公式(1)所示

(1)

     由条件概率公式可得公式(2)

(2)

   由于x是已知的，所以公式(2)中的p(x)可以省去，故公式(2)可以用公式(3）

(3)

    在HMM中，我们实际使用公式(4)的形式来求解，公式(3)使用条件概率公式可得公式(4)

(4)

 

2、HMM是一种有监督学习，需要有训练数据训练参数。

    图2为一条训练数据，已知句子x的词性y，其中PN为名词，V为动词，D为冠词，N为名词。

图2已知句子x的词性y

可得P(y)公式(5)

   

                                      

                                         

                                         

(5)

则可得公式(6)

                                   

                                      

                                      

(6)

将其一般化，可将第一步的概率P(y)称为转移概率(transition probability)，第二步的概率称为输出概率(emission probability)。其概率值都可以通过训练数据得到。

第1步P(y) 转移概率可表示为公式(7)

(7)

第2步输出概率可表示为公式(8)

(8)

将公式(7)(8)带入公式(4)即为HMM模型，如公式(9)所示。

 

             

(9)

 

 

二、HMM具体举例，使用Viterbi算法

1、问题

假设已知：

                   第1天小明感觉正常。

                  第2天小明感觉有点冷。

                  第3天小明觉有点头晕。

      小明的身体观察序列x为：正常、冷、头晕

      小明身体的隐藏状态有2种分别为：健康、发烧

求已知x的情况下，推断出小明每一天的身体状态呢?

 

2、转化为数学语言

     正常、冷、头晕分别用0、1、2表示；健康、发烧分别用A、B表示。

    则小明的观察序列x为：0，1，2

   小明身体的隐藏状态有2种分别为：A、B

 

已知概率：

1）初始概率

                      

                     

2）转移概率

               

              

3）输出概率

             

             

 

3、问题进一步具体化

求：推断出小明每一天的身体状态呢?

已知：观察序列x和HMM模型。HMM模型即为初始概率、转移概率、输出概率。

 

4、求解，使用维特比算法

1）第1天 l=1， 取值为0，  的取值为A或B

       由HMM模型公式(9)可得到公式(10)

(10)

            注意：这里实际为

       当时, 带入公式(10)可得到公式(11)

        

                                           

       

(11)

       当时, 带入公式(10)可得到公式(12)                         

 

                             

                            

                            

(12)

 

2）第2天 l=2，取值为1，  的取值为A或B

           由HMM模型公式(9)可得到公式(13)

(13)

       1、）当时,公式(13)可化为公式(14)

                    

                  

                   

                  

(14)

               公式(14)中的可取A或B，此时由公式(9)可得公式(15)

                              

                              

                              

                              

                              

(15)

                由公式(15)可看出，当取A时，概率最大，记录此条路径。

这里在解释一下:

       当前观测值为1，假定当前隐含状态为健康A，求当前的联合概率分布 。首先从昨天的状态到当前的健康A状态有两种路径(昨天的状态还没确定，而只是先计算出每个状态的概率分布)： 昨天健康A ----> 今天健康A，   昨天发烧 B-----> 今天健康A。 这两个路径分别的概率为 0.3 * 0.7 以及 0.04 * 0.4， 可以看到 当前如果为健康A时，昨天为健康A的概率更大，因此我们选定昨天健康 A----> 今天健康A 这条路径，即记录下当前为健康A时，昨天也为健康A状态， 然后求得当前的联合概率分布 = （0.3 * 0.7 ） * 0.4即如下：

  = max{0.3*0.7, 0.04*0.4} * 0.4=0.3* 0.7 * 0.4=0.084

此时我们需要记录概率最大的路径的前一个状态，即0.084路径的前一个状态，我们在小本本上记下，第二天健康A时，第一天的状态也为健康A。

        2、）当时,公式(13)可化为公式(16)

                    

                  

                  

                  

(16)

                 公式(16)中的可取A或B，此时由公式(9)可得公式(17)

                                

                                                                        

                                

                                

                                

(17)

            由公式(17)可看出，当取A时，概率最大，记录此条路径。

                   一样的道理，从昨天的状态到当前的发烧B状态也有两种路径：  昨天健康A ----> 今天发烧B，   昨天发烧B -----> 今天发烧B，这两个路径分别的概率为 0.3 * 0.3以及 0.04 * 0.6， 可以看到 当前如果为发烧B时，昨天为健康A的概率更大，因此我们选定昨天健康A ----> 今天发烧B 这条路径，即记录下当前为发烧B时，昨天也为健康B状态， 当前的联合概率分布= （0.3 * 0.3 ） * 0.3， 即如下：

= max{0.3*0.3,  0.04*0.6} * 0.3=0.027,

同样的在0.027这个路径上，第二天为发烧B时，第一天也是健康A的。

 

3) 第3天 l=3， 取值为2， 的取值为A或B

           由HMM模型公式(9)可得到公式(18)

                      

        

       

(18)

          1、） 的取值为A，公式(18)可化为公式(19)

                   

      

      

(19)

                   公式(19)中的可取A或B，此时由公式(9)可得公式(20)

                           

                          

                          

                          

                          

(20)

               由公式(20)可看出，当取A时，取A时；概率最大，记录此条路径。

 

                2、）  的取值为B，公式(18)可化为公式(21)

                                 

                    

                    

(21)

                     公式(21)中的可取A或B，此时由公式(9)可得公式(22)

                           

                                                                  

                                                               

                                                               

                                                               

(22)

                      由公式(22)可看出，当取B时，取A时；概率最大，记录此条路径。

4）到第三天是最后一天， 此时看第三天为发烧B时状态概率最大，即为最优状态，即P(最优)=0.01512，这样我们可以得到最优路径的终点，是发烧B状态。

             由最优状态开始回溯。根据前面所记录的， 在求得第三天发烧的时候，我们记录的第二天最大概率的状态为健康A，因此确定第二天为健康A状态，继续回溯，当第二天为健康A状态时，我们记录的第一天是健康A的。这样，我们的状态序列逆推出来了。即为：健康A，健康A，发烧B；这就是小明这3天的身体状态。

 

5）别人也给出了一个HMM概率图 可以参考下：

图3   HMM概率图

 

 

csdn_1HAO
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HMM-维特比算法(viterbi)原理以及简单实现
winterhc的博客
04-30 2233
学习目标： 概率图模型 学习内容： HMM算法（隐马尔科夫模型）中的维特比算法 学习记录： 维特比算法步骤： 1.初始化 2.递推 3.终止 4、最优路径回溯 解释一下：我们要得到最优路径，viterbi采用的式局部最优来解决，每一次都取时间t到时间t+1的概率最大的路径。开始要初始化，先计算t=1时的概率 δ1（1），δ1（2），δ1（3）。令φ1（1）=0，φ1（2）=0，φ1（3）=0。再计算从t=1时刻到t=2时刻每一个状态改变到下一个状态的概率（即状态转移矩阵）选出每个状态中
python实现HMM+维特比算法
最新发布
02-27
隐马尔可夫模型( Hidden Markov Model, HMM)是描述两个时序序列联合分布 p(x,y) 的概率模型: x 序列外界可见(外界指的是观测者)，称为观测序列(obsevation sequence);y序列外界不可见，称为状态序列(state sequence)...
HMM——维特比算法(Viterbi algorithm)
热门推荐
风翼冰舟的博客
09-19 2万+
1. 前言 维特比算法针对HMM第三个问题，即解码或者预测问题，寻找最可能的隐藏状态序列： 对于一个特殊的隐马尔可夫模型(HMM)及一个相应的观察序列，找到生成此序列最可能的隐藏状态序列。 也就是说给定了HMM的模型参数和一个观测序列，计算一系列的隐状态，使得此观察序列的出现可能最大，即最大化P(隐状态 | 观测序列)，给定观测序列，求最可能的对应的隐状态序列。 实际上解决此问题，在《统计...
HMM之维特比算法
自然语言处理大菜鸟--HsingWang
08-10 7894
还是上节的妹子问题。 http://blog.csdn.net/hellonlp/article/details/7849208 现在是解码问题。什么是解码问题呢？请看下面。 现在给定了一个妹子（指定模型HMM），有人告诉你某个连续五天妹子表现，即观察序列为（打， 不打， 打， 打， 不打）。再不是评估问题问你 这个观察序列以后出现的概率是多少。这回是需要你结合观察序列去推测这个妹子那几
HMM的维特比算法实现分词
09-25
在这个项目中，我们将重点讨论如何利用隐马尔可夫模型（Hidden Markov Model，HMM）的维特比算法来实现中文分词。 首先，我们要理解什么是HMM。HMM是一种统计建模方法，常用于处理序列数据，例如语音识别、生物信息...
HMM模型+维特比算法实现分词词性标注.py
11-10
HMM模型+维特比算法实现分词词性标注.py
自然语言处理-基于HMM+维特比算法的词性标注.py
01-23
广外自然语言处理作业2，HMM&Viterbi.py
HMM前向、后向及维特比算法的Python实现
01-04
HMM前向、后向及维特比算法的Python实现 HMM前向、后向及维特比算法的Python实现 HMM前向、后向及维特比算法的Python实现 HMM前向、后向及维特比算法的Python实现 HMM前向、后向及维特比算法的Python实现
HMM模型公式推导.pdf
10-17
此文档是HMM模型三大问题每个公式的推导、很详细，包括了部分解释！
HMM-维特比算法
qq_16236875的博客
09-17 439
给定一个已训练的HMM，即转移矩阵A和B 以及一个新的观察序列W=w_1,w_2,,,,w_N.。我们希望找到最佳的状态序列T=t_1,t_2,....t_N 来解释该观察序列。 这一过程可以通过使用维特比算法实现，该算法试图找到总体上最佳的状态序列 T=t_1，t_2，t_N。 一般来说我们还可以使用另一种后验解码的算法，该算法独立得为序列中每个位置i 选择后验概率最高的状态。 维特比算法：...
HMM算法之维特比算法
GeekPower的博客
07-26 447
参考李航《统计学习基础的》的公式推导 PI = np.array([0.2, 0.4, 0.4]) A = np.array([[0.5, 0.2, 0.3], [0.3, 0.5, 0.2], [0.2, 0.3, 0.5]]) B = np.array([[0.5, 0.5], [0.4, 0.6], [0.7, 0.3]]) O = [1, 2, 1] # 观测序列 def vite
HMM模型和Viterbi算法
oriel123的博客
08-20 806
一、隐含马尔可夫模型（Hidden Markov Model） 1、简介 　　隐含马尔可夫模型并不是俄罗斯数学家马尔可夫发明的，而是美国数学家鲍姆提出的，隐含马尔可夫模型的训练方法（鲍姆-韦尔奇算法）也是以他名字命名的。隐含马尔可夫模型一直被认为是解决大多数自然语言处理问题最为快速、有效的方法。 2、马尔可夫假设 　　随机过程中各个状态St的概率分布，只与它的前一个状态St
HMM+维特比算法
weixin_51293984的博客
10-20 1467
考虑到穷举方法的缺点，可以采用：Viterbi 算法:动态搜索最优状态序列，这样每个节点保存的是到当前节点的局部最优概率；依据最后一个时刻中概率最高的状态，逆向找其路径中的上一个最大部分最优路径，从而找到整个最优路径。
HMM与维特比算法
vincent1y的博客
12-02 366
最近看对话生成的beam-search，发现这就是特殊的维特比算法，所以又把HMM与维特比算法复习一遍。  
详解隐马尔可夫模型(HMM)中的维特比算法
gman344的博客
02-12 2404
笔记转载于GitHub项目：https://github.com/NLP-LOVE/Introduction-NLP 4. 隐马尔可夫模型与序列标注 第3章的n元语法模型从词语接续的流畅度出发，为全切分词网中的二元接续打分，进而利用维特比算法求解似然概率最大的路径。这种词语级别的模型无法应对 OOV(Out of Vocabulary，即未登录词) 问题: 00V在最初的全切分阶段就已经不可能进人词网了，更何谈召回。 例如下面一句： 头上戴着束发嵌宝紫金冠，齐眉勒着二龙抢珠金抹额 加粗的就是相...
维特比算法的c语言实现,HMM学习最佳范例六：维特比算法5
05-27
以下是维特比算法的C语言实现： ``` #include <stdio.h> #include <stdlib.h> #define N 3 // 状态数 #define M 4 // 观测符号数 int main() { int i, j, t; int obs_seq[] = {0, 1, 2, 0}; // 观测序列 double a[N][N] = {{0.5, 0.2, 0.3}, {0.3, 0.5, 0.2}, {0.2, 0.3, 0.5}}; // 转移概率矩阵 double b[N][M] = {{0.5, 0.5, 0.0, 0.0}, {0.0, 0.5, 0.5, 0.0}, {0.0, 0.0, 0.5, 0.5}}; // 发射概率矩阵 double pi[N] = {0.2, 0.4, 0.4}; // 初始状态概率 double delta[M][N]; // delta矩阵 int psi[M][N]; // psi矩阵 int q[M]; // 最优状态序列 // 初始化 for (i = 0; i < N; i++) { delta[0][i] = pi[i] * b[i][obs_seq[0]]; psi[0][i] = 0; } // 递推 for (t = 1; t < M; t++) { for (j = 0; j < N; j++) { double max_delta = 0.0; int max_i = 0; for (i = 0; i < N; i++) { double tmp_delta = delta[t - 1][i] * a[i][j] * b[j][obs_seq[t]]; if (tmp_delta > max_delta) { max_delta = tmp_delta; max_i = i; } } delta[t][j] = max_delta; psi[t][j] = max_i; } } // 终止 double max_delta = 0.0; int max_i = 0; for (i = 0; i < N; i++) { if (delta[M - 1][i] > max_delta) { max_delta = delta[M - 1][i]; max_i = i; } } // 回溯 q[M - 1] = max_i; for (t = M - 2; t >= 0; t--) { q[t] = psi[t + 1][q[t + 1]]; } // 输出结果 printf("最优状态序列为："); for (t = 0; t < M; t++) { printf("%d ", q[t]); } printf("\n"); return 0; } ``` 其中，`a`数组为转移概率矩阵，`b`数组为发射概率矩阵，`pi`数组为初始状态概率，`obs_seq`数组为观测序列。程序中使用了`delta`和`psi`两个矩阵来辅助计算。最终，程序输出最优状态序列。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值