【HMM】入门天气数据集实验--理解隐马尔可夫模型

最新推荐文章于 2024-07-16 21:02:38 发布
最新推荐文章于 2024-07-16 21:02:38 发布
阅读量5.3k 收藏 71
点赞数 8
分类专栏： Python学习 文章标签： 算法 python 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cungudafa/article/details/104899317
版权

文章目录

一、隐马尔可夫模型

隐马尔可夫模型（Hidden Markov Model，HMM）描述由隐藏的马尔可夫链随机生成观测序列的过程，属于生成模型。

名词解释：

  1. 马尔科夫链
    马尔可夫链的提出来自俄国数学家安德雷·马尔可夫，指具有马尔可夫性质且存在于离散的指数集和状态空间内的随机过程。

  2. 马尔科夫模型
    一种统计模型，广泛应用在语音识别，手语作为特征类型相似的语言，亦可采用此方法进行研究。

  3. 隐马尔可夫模型
    由马尔可夫链生成随机不可观测的随机状态序列，再由各个状态生成可观测的随机序列。

听得云里雾里，没关系，wiki实例说明：

Alice 和Bob是好朋友，但是他们离得比较远，每天都是通过电话了解对方那天作了什么.Bob仅仅对三种活动感兴趣：公园散步，购物以及清理房间。他选择做什么事情只凭当天天气，Alice对于Bob所住的地方的天气情况并不了解，但是知道总的趋势。在Bob告诉Alice每天所做的事情基础上，Alice想要猜测Bob所在地的天气情况。
　　Alice认为天气的运行就像一个马尔可夫链。 其有两个状态 “雨”和”晴”，但是无法直接观察它们，也就是说，它们对于Alice是隐藏的。每天，Bob有一定的概率进行下列活动：”散步”， “购物”，或 “清理”。因为Bob会告诉Alice他的活动，所以这些活动就是Alice的观察数据。这整个系统就是一个隐马尔可夫模型HMM。
　　在这里插入图片描述
　　Alice关心Bob每天干了什么事情（观测序列）「散步，购物，大扫除」，想要通过Bob干的事情去推断出Bob处地的天气变化(隐藏序列)「晴天，雨天」：
在这里插入图片描述

Alice和Bob通了三天电话后发现第一天Bob去散步了，第二天他去购物了，第三天他清理房间了。Alice现在有两个问题：

  1. 这个观察序列“散步、购物、清理”的总的概率是多少？(注：这个问题对应于HMM的基本问题之一：已知HMM模型λ及观察序列O，如何计算P(O|λ)？)
  2. 最能解释这个观察序列的状态序列（晴/雨）又是什么？（注：这个问题对应HMM基本问题之二：给定观察序列O=O1,O2,…OT以及模型λ,如何选择一个对应的状态序列S = q1,q2,…qT，使得S能够最为合理的解释观察序列O？）
  3. 至于HMM的基本问题之三：如何调整模型参数, 使得P(O|λ)最大？这个问题事实上就是给出很多个观察序列值，来训练以上几个参数的问题。

结论：

隐藏序列：表示无法直接观测到的状态，就上述例子而言就是对方的天气状态；
观测序列：可以直接观测到的状态，就上述例子而言就是获取到的B执行的事情；
初始状态概率矩阵：表示B第一次告诉A的时候，得到的隐藏状态集合中每个状态发生的概率；
状态转移矩阵：表示从一个状态到另一个状态变化的概率，如在上述例子中，从雨天到晴天的概率为0.3；
发射状态矩阵：表示B在相应隐藏状态（天气）下，去执行得到观测状态（执行的动作）的概率，如在雨天，B去散步的概率为0.1；

综上五个要素：

  • 两个序列：隐藏序列和观测序列
  • 三个矩阵：初始状态矩阵，发射状态矩阵以及状态转移矩阵
class HMM:

	def __init__(self):
		self.A=array([(0.1,0.4,0.5),(0.6,0.3,0.1)])
		self.B=array([(0.3,0.7),(0.6,0.4)])
		self.pi=array([(0.4),(0.6)])
		self.o=[0,1,0]
		self.t=len(self.o)#观测序列长度
		self.m=len(self.A)#状态集合个数
		self.n=len(self.B[0])#观测集合个数

获取状态序列：

	def get_stateprobability(self,t,p):
		#打印在观测为self.o的前提下，t时刻，处于状态p的概率,
		#self.x[t][p]表示到t时刻观测为o1,o2,ot,状态为p的概率
		#self.y[t][p]表示在t时刻状态为p的前提下，接下来观测为ot+1,ot+2,oT的概率
		#self.x[t][p]*self.y[t][p]即表示观测为self.o，且t时刻处于状态p的概率,
		#利用贝叶斯公式，除以观测为self.o的概率即为所求
		if(t>self.t or p>self.m):
			print(u'输入数据超过范围')
			return
		print('在时刻'+str(t)+u'处于状态'+str(p)+u'的概率是：')
		temp=self.x[t-1][p-1]*self.y[t-1][p-1]
		total=0
		for i in range(self.m):
			total=total+self.x[t-1][i]*self.y[t-1][i]
		print(temp/total)

计算方法：

  • 直接法
  • 前向法
	def qianxiang(self):
		#t时刻部分观测序列为o1,o2,ot,状态为qi的概率用矩阵x表示，
		#则矩阵大小行数为观测序列数，列数为状态个数
		self.x=array(zeros((self.t,self.m)))
		#先计算出时刻1时，观测为o1,状态为qi的概率
		for i in range(self.m):
			self.x[0][i]=self.pi[i]*self.B[i][self.o[0]]
		for j in range(1,self.t):
			for i in range(self.m):
				#前一时刻所有状态的概率乘以转移概率得到i状态概率
				#i状态的概率*i状态到j观测的概率
				temp=0
				for k in range(self.m):
					temp=temp+self.x[j-1][k]*self.A[k][i]
				self.x[j][i]=temp*self.B[i][self.o[j]]
		result=0
		for i in range(self.m):
			result=result+self.x[self.t-1][i]
		print("前向概率矩阵及当前观测序列概率如下：")
		print(self.x)
		print(result)
  • 后向法
	def houxiang(self):
		#t时刻状态为qi,从t+1到T观测为ot+1,ot+2,oT的概率用矩阵y表示
		#则矩阵大小行数为观测序列数，列数为状态个数
		self.y=array(zeros((self.t,self.m)))
		#下面为对最终时刻的所有状态，接下来的观测序列概率初始化为1
		#(可以理解为接下来没有观测所有为1)
		for i in range(self.m):
			self.y[self.t-1][i]=1
		j=self.t-2
		#j时刻为i状态，转移到k状态，k状态观测为oj+1,
		#再乘以j+1时刻状态为k的B矩阵的值，对k遍历相加，
		#即为j时刻i状态前提下，后面满足观测序列的概率
		while(j>=0):
			for i in range(self.m):
				for k in range(self.m):
					self.y[j][i]+=self.A[i][k]*self.B[k][self.o[j+1]]*self.y[j+1][k]
			j=j-1
		#第一个状态任意，观测为o1,所以对所有第一个状态概率相加
		result=0
		for i in range(self.m):
			result=result+self.pi[i]*self.B[i][self.o[0]]*self.y[0][i]
		print('后向概率矩阵及当前观测序列概率如下：')
		print(self.y)
		print(result)
  • 维特比算法
	def viterbi(self):
		#利用模型和观测序列找出最优的状态序列
		#时刻t时，很多路径可以到达状态i,且观测为self.o,
		#每个路径都有自己的概率，最大的概率用矩阵z记录,前一个状态用d矩阵记录
		self.z=array(zeros((self.t,self.m)))
		self.d=array(zeros((self.t,self.m)))
		for i in range(self.m):
			self.z[0][i]=self.pi[i]*self.B[i][self.o[0]]
			self.d[0][i]=0
		for j in range(1,self.t):
			for i in range(self.m):
				maxnum=self.z[j-1][0]*self.A[0][i]
				node=1
				for k in range(1,self.m):
					temp=self.z[j-1][k]*self.A[k][i]
					if(maxnum<temp):
						maxnum=temp
						node=k+1
				self.z[j][i]=maxnum*self.B[i][self.o[j]]
				self.d[j][i]=node
		#找到T时刻概率最大的路径
		max_probability=self.z[self.t-1][0]
		last_node=[1]
		temp=0
		for i in range(1,self.m):
			if(max_probability<self.z[self.t-1][i]):
				max_probability=self.z[self.t-1][i]
				last_node[0]=i+1
				temp=i
		i=self.t-1
		#self.d[t][p],t时刻状态为p的时候，t-1时刻的状态
		while(i>=1):
			last_node.append(self.d[i][temp])
			i=i-1
		temp=['o']
		temp[0]=int(last_node[len(last_node)-1])
		j=len(last_node)-2
		while j>=0:
			temp.append(int(last_node[j]))
			j=j-1
		print('路径节点分别为')
		print(temp)
		print('该路径概率为'+str(max_probability))

二、python实例

  1. 手写马尔科夫算法函数
    在这里插入图片描述

完整代码：（源码参考链接）

#coding=utf-8
'''
https://github.com/Eilene/HMM-python/blob/master/HMM.py
实现隐马尔科夫模型的基本方法，
输入为状态转移矩阵，观测矩阵，初始状态概率向量，观测序列
实现前向算法和后向算法计算观测序列出现的概率
实现维特比算法找当前观测序列下最可能的状态序列
实现在给定模型和观测下，t时刻处于p状态的概率，t,p在main函数中指定
'''
from numpy import *

class HMM:

	def __init__(self):
		self.A=array([(0.1,0.4,0.5),(0.6,0.3,0.1)])
		self.B=array([(0.3,0.7),(0.6,0.4)])
		self.pi=array([(0.4),(0.6)])
		self.o=[0,1,0]
		self.t=len(self.o)#观测序列长度
		self.m=len(self.A)#状态集合个数
		self.n=len(self.B[0])#观测集合个数

	def qianxiang(self):
		#t时刻部分观测序列为o1,o2,ot,状态为qi的概率用矩阵x表示，
		#则矩阵大小行数为观测序列数，列数为状态个数
		self.x=array(zeros((self.t,self.m)))
		#先计算出时刻1时，观测为o1,状态为qi的概率
		for i in range(self.m):
			self.x[0][i]=self.pi[i]*self.B[i][self.o[0]]
		for j in range(1,self.t):
			for i in range(self.m):
				#前一时刻所有状态的概率乘以转移概率得到i状态概率
				#i状态的概率*i状态到j观测的概率
				temp=0
				for k in range(self.m):
					temp=temp+self.x[j-1][k]*self.A[k][i]
				self.x[j][i]=temp*self.B[i][self.o[j]]
		result=0
		for i in range(self.m):
			result=result+self.x[self.t-1][i]
		print("前向概率矩阵及当前观测序列概率如下：")
		print(self.x)
		print(result)

	def houxiang(self):
		#t时刻状态为qi,从t+1到T观测为ot+1,ot+2,oT的概率用矩阵y表示
		#则矩阵大小行数为观测序列数，列数为状态个数
		self.y=array(zeros((self.t,self.m)))
		#下面为对最终时刻的所有状态，接下来的观测序列概率初始化为1
		#(可以理解为接下来没有观测所有为1)
		for i in range(self.m):
			self.y[self.t-1][i]=1
		j=self.t-2
		#j时刻为i状态，转移到k状态，k状态观测为oj+1,
		#再乘以j+1时刻状态为k的B矩阵的值，对k遍历相加，
		#即为j时刻i状态前提下，后面满足观测序列的概率
		while(j>=0):
			for i in range(self.m):
				for k in range(self.m):
					self.y[j][i]+=self.A[i][k]*self.B[k][self.o[j+1]]*self.y[j+1][k]
			j=j-1
		#第一个状态任意，观测为o1,所以对所有第一个状态概率相加
		result=0
		for i in range(self.m):
			result=result+self.pi[i]*self.B[i][self.o[0]]*self.y[0][i]
		print('后向概率矩阵及当前观测序列概率如下：')
		print(self.y)
		print(result)

	def get_stateprobability(self,t,p):
		#打印在观测为self.o的前提下，t时刻，处于状态p的概率,
		#self.x[t][p]表示到t时刻观测为o1,o2,ot,状态为p的概率
		#self.y[t][p]表示在t时刻状态为p的前提下，接下来观测为ot+1,ot+2,oT的概率
		#self.x[t][p]*self.y[t][p]即表示观测为self.o，且t时刻处于状态p的概率,
		#利用贝叶斯公式，除以观测为self.o的概率即为所求
		if(t>self.t or p>self.m):
			print(u'输入数据超过范围')
			return
		print('在时刻'+str(t)+u'处于状态'+str(p)+u'的概率是：')
		temp=self.x[t-1][p-1]*self.y[t-1][p-1]
		total=0
		for i in range(self.m):
			total=total+self.x[t-1][i]*self.y[t-1][i]
		print(temp/total)

	def viterbi(self):
		#利用模型和观测序列找出最优的状态序列
		#时刻t时，很多路径可以到达状态i,且观测为self.o,
		#每个路径都有自己的概率，最大的概率用矩阵z记录,前一个状态用d矩阵记录
		self.z=array(zeros((self.t,self.m)))
		self.d=array(zeros((self.t,self.m)))
		for i in range(self.m):
			self.z[0][i]=self.pi[i]*self.B[i][self.o[0]]
			self.d[0][i]=0
		for j in range(1,self.t):
			for i in range(self.m):
				maxnum=self.z[j-1][0]*self.A[0][i]
				node=1
				for k in range(1,self.m):
					temp=self.z[j-1][k]*self.A[k][i]
					if(maxnum<temp):
						maxnum=temp
						node=k+1
				self.z[j][i]=maxnum*self.B[i][self.o[j]]
				self.d[j][i]=node
		#找到T时刻概率最大的路径
		max_probability=self.z[self.t-1][0]
		last_node=[1]
		temp=0
		for i in range(1,self.m):
			if(max_probability<self.z[self.t-1][i]):
				max_probability=self.z[self.t-1][i]
				last_node[0]=i+1
				temp=i
		i=self.t-1
		#self.d[t][p],t时刻状态为p的时候，t-1时刻的状态
		while(i>=1):
			last_node.append(self.d[i][temp])
			i=i-1
		temp=['o']
		temp[0]=int(last_node[len(last_node)-1])
		j=len(last_node)-2
		while j>=0:
			temp.append(int(last_node[j]))
			j=j-1
		print('路径节点分别为')
		print(temp)
		print('该路径概率为'+str(max_probability))


if __name__ == '__main__':
	test=HMM()
	test.qianxiang()
	test.houxiang()
	test.get_stateprobability(3,3)
	test.viterbi()

参考1：把隐马尔可夫模型彻底说清楚
参考2：标注——隐马尔科夫模型(HMM)以及Python实现
学习：李航《统计学习方法》第十章——用Python实现隐马尔科夫模型

  1. 另外是安装hmmlearn库

    pip install hmmlearn

    参考：ML–HMM(隐马尔可夫模型及python的实现2)

原理部分参考：

  1. 隐马尔可夫模型（Hidden Markov Model）
  2. 隐马尔可夫模型–天气讲解
  3. 隐马尔科夫模型–吃，睡，玩
  4. 史上最详细最容易理解的HMM文章
cungudafa
关注
专栏目录
基于隐马尔可夫模型（HMM）的孤立字语音识别实验.rar
08-09
基于隐马尔可夫模型（HMM）的孤立字语音识别实验
Machine Learning-L18-隐马尔可夫模型
聚集机器学习、信息安全
05-02 899
隐马尔可夫模型（HMM，Hidden Markov model）是关于时序的概率模型，描述由隐藏马尔可夫链随机生成不可观测的状态随机序列，再由各个状态生成一个观测而产生观测随机序列的过程。 隐马尔可夫模型属于动态贝叶斯网，可用于标注问题的模型学习，属于生成模型，在语音识别、自然语言处理，生物信息等领域有着广泛应用。
马尔可夫模型与HMM：从简单天气预报到复杂状态解析
最新发布
kiingking的博客
07-16 434
马尔可夫模型与隐马尔可夫模型（HMM）是统计模型，用于描述随时间变化的系统，但是它们的用途和复杂度有所不同。
隐马尔可夫模型
zhu2856061的博客
05-12 489
对隐马尔可夫模型的解释，个人觉得一句简单概括就是：在马尔可夫链的情况下对每一个状态都加入一个单独输出口，而我们把这个输出口定为可视窗口，可把马尔可夫链放到里面藏起来。ok！这样就是知道隐马尔可夫模型的结构了。 通过如下例子来说明HMM的含义。假定一个暗室中有N个口袋，每个口袋中有M种不同颜色的球，一个实验员根据某一概率分布随机地选取一个初始口袋，从中根据不同颜色的球的概率分布，随机地取出
隐马尔可夫模型（HMM）
雪伦的专栏
12-26 9988
隐马尔可夫模型原理部分可以概括为三句话：一个定义、两个假设、三个问题　　HMM是一个五元组（Y，X，π，A，B），其中Y是状态（输出）的集合，X是观察值（输入）集合，π是初始状态的概率，A是状态转移概率矩阵，B是输出观察值概率矩阵。1.定义　　隐马尔可夫模型是关于时序的概率模型，描述由一个隐藏的马尔可夫链随机生成不可观测的状态的序列，再由各个状态随机生成一个观测而产生观测的序列的过程。　　隐马尔可夫
隐马尔科夫模型（HMM）的应用
yaoyuan0922_的博客
05-15 2593
HMM简介 隐马尔可夫模型(Hidden Markov Model，HMM) 如果你也是第一次接触的话，可以看这篇文章，讲得很好。 看了这篇之后我就去看代码了，下面的代码是 ASRT_v0.6.1 的 Language Model 部分，再次感谢作者——AI柠檬。 代码分析 这部分代码的功能是把拼音转成汉字，比如，把 [‘ni3’, ‘hao3’, ‘zhong1’, 'guo2] 转成 ‘你好中国’ 。 首先要准备你的模型，如下： 水电费 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标
矩阵序列matlab代码-NPBayesHMM:顺序数据的非参数贝叶斯推断。包括针对Beta流程隐马尔可夫模型（BP-HMM）的最新MCMC推
05-19
该工具箱提供了用于运行Beta进程（BP）隐藏马尔可夫模型（HMM）的马尔可夫链蒙特卡洛（MCMC）后验推理的代码。 该软件根据BSD 3条款许可发布。 有关详细信息，请参见LICENSE文件。 2016年更新：此仓库未处于积极开发...
隐马尔科夫模型c 语言算法实现,隐马尔可夫模型(HMM)中文分词(示例代码)
weixin_42128558的博客
05-24 674
1. 马尔可夫模型如果一个系统有n个有限状态$S=\{s_{1} , s_{2} ,\dots s_{n}\}$,随着时间推移，该系统将从某一状态转移到另一状态，$Q=\{q_{1},q_{2},\dots q_{n}\}$位一个随机变量序列，该序列中的变量取值为状态集S中的某个状态，其中$q_{t}$表示系统在时间t的状态。那么：系统在时间t处于状态$s_{j}$的概率取决于其在时间1,2, $...
HMM预测天气，python实现
11-16
使用python实现的，基于HMM的天气预测，是入门的好例子。
hmm模型matlab代码-bparhmm:bparhmm
05-27
该工具箱提供了用于运行Beta进程（BP）隐马尔可夫模型（HMM）的马尔可夫链蒙特卡洛（MCMC）后验推理的代码。 该软件根据BSD 3条款许可发布。 有关详细信息，请参见LICENSE文件。 2016年更新：此仓库未处于积极开发中...
详解隐马尔可夫模型(HMM)中的维特比算法
mantch
02-08 3549
具体说来，只要将每个汉字组词时所处的位置(首尾等)作为标签，则中文分词就转化为给定汉字序列找出标签序列的问题。一般而言，由字构词是**序列标注模型**的一种应用。 在所有“序列标注”模型中，隐马尔可夫模型是最基础的一种。
python 隐马尔可夫（HMM）天气小例子
09-29
使用隐马尔可夫预测天气的小例子 python编写 注释详细 方便计算
使用隐马尔可夫模型生成数据
cchangcs
10-24 1716
  隐马尔可夫模型是一个强大的分析时间序列数据的分析工具。假定被建模的系统是带有隐藏状态的马尔可夫过程，这意味着底层系统可以是一组可能的状态之一,系统经历一系列的状态转换，从而产生一系列输出。我们仅能观察输出，而无法观测状态，因为这些状态被隐藏了。我们的目标是对这些数据建模，以便我们能推断未知数据的状态转换。 S={s1,s2,…,sN,} 表示所有可能状态的集合（《统计学习方法》使用Q来表示）...
matlab中的隐马尔可夫模型(HMM)实现
拓端研究室TRL
12-05 725
隐马尔可夫模型（HMM）是一个在你观察到的输出顺序，但不知道状态序列模型产生输出的过程。去年，我们为一家公司进行了短暂的咨询工作，该公司正在构建一个主要基于隐马尔可夫模型(HMM)的分析应用程序。隐马尔可夫模型的分析试图从观察到的数据中恢复状态序列。 马尔可夫链原理可视化解释与R语言区制转换Markov regime switching实例，时长07:25马尔可夫链蒙特卡罗方法MCMC原理与R语言实现，时长08:47例如，考虑具有两个状态和六个可能输出的马尔可夫模型。该模型使用：红色骰子，有六个面，标记为1
【Python机器学习】隐马尔可夫模型讲解及在中文分词中的实战（附源码和数据集）
showswoller的博客
12-21 2102
【Python机器学习】隐马尔可夫模型讲解及在中文分词中的实战（附源码和数据集）
隐马尔科夫模型练习
万德1010的博客
03-23 1592
import numpy DTYPE='float32' #学习问题 def forward(a,b,o): num_states_hidden=a.shape[0] alpha=numpy.ones((num_states_hidden,1),dtype=DTYPE) tem_alpha=numpy.zeros((num_states_hidden,1),dtype
隐马尔可夫模型（一）---基本概念
AI.PLAY
08-05 1046
  隐马尔可夫模型   要了解隐马尔可夫模型，首先要了解什么是马尔可夫模型。网上的一个关于天气的例子能够帮助我们理解马尔可夫模型。     1.马尔可夫模型     假设我们可以通过当前的天气状况预测未来的天气状况，同理，我们也可以通过之前一些天的天气状况预测今天的天气状况。 这种假设成立的条件是：这个模型的每一个状态都只依赖于前一个状态，这个条件称之为“马尔可夫假设”。 存在...
NLP深入学习（五）：HMM 详解及字母识别/天气预测用法
日常学习与专研的记录
01-20 1192
本文主要介绍nlp相关的HMM用法，包含字母识别、天气预测用法等！
使用BigQuery ML预测天气（6.19）
架构师小秘圈
06-20 600
导言天气预报是一个复杂的过程，如果你住在墨尔本这种天气波动很大的地区，你应该能够发现天气和网站上看到的不同。通常的操作是先收集大量关于大气、湿度风力等信息，然后依靠我们已...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值