HMM

最新推荐文章于 2020-08-23 16:44:12 发布
最新推荐文章于 2020-08-23 16:44:12 发布
阅读量218 收藏 1
点赞数
分类专栏： 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jiahonhyu0609/article/details/88978343
版权

每个状态只依赖之前有限个状态
– N阶马尔科夫：依赖之前n个状态
– 1阶马尔科夫：仅仅依赖前一个状态
• p(w1,w2,w3,……,wn) = p(w1)p(w2|w1)p(w3|w1,w2)……p(wn|w1,w2,……,wn-1) =log p(w1)p(w2|w1)p(w3|w2)……p(wn|wn-1) +lambda( p(w1)+…+p(wn)-1)+…
例如：
p(w1=今天，w2=我，w3=写，w4=了，w5=一个，w6=程序)=p(w1=今天)p(w2=我|w1=今天)p(w3=写|w2=我)……p(w6=程序|w5=一个）

在分词中的应用：
依赖 依：B，赖：E

B:begin
M:middle
E:end
S:single

今天我写了一个程序。O
vd v O
BE S S S BE BE 就切为:今天/我/写/了/一个/程序

最大似然法（策略+算法）
– 状态转移概率ak,?
• P(St+1=l|St=k)=l紧跟k出现的次数/k出现的总次数
– 初始概率?k
• P(S1=k)=k作为序列开始的次数/观测序列总数

p（晴天，晴天）= p(晴天)*p（晴天|晴天）

底下的Hi,Av,AV和H都固定的，变的只有隐藏序列。
在这里插入图片描述
前向概率推导：下面的求和是隐藏状态的求和。
最后推导出：发射概率 * 转移概率 * 递归求前面的隐藏概率
在这里插入图片描述
什么时候用极大似然法，什么时候用前向后向算法：
在这里插入图片描述

hmm_train.py（隐马模型做训练）

import math


doc_path = 'C:\\Users\\zheng\\Desktop\\allfiles.txt'
mod_path = '.\\data\\hmm_mod.data'

def get_word_ch(word):
    ch_lst=[]
    i = 0
    word_len = len(word)
    while i<word_len:
        ch_lst.append(word[i])
        i+=1
    return  ch_lst

# print(get_word_ch("初始化模型参数"))

# 初始化模型参数
# 其中s状态为：B,M,E,S
STATUS_NUM = 4

# 1.初始概率
pi = [0.0 for col in range(STATUS_NUM)]
pi_sum = 0.0

# 2. 状态转移概率 a
A = [[0.0 for col in range(STATUS_NUM)] for row in range(STATUS_NUM)]
A_sum = [0.0 for col in range(STATUS_NUM)]

# 3.发射概率 b
B = [dict() for col in range(STATUS_NUM)]
B_sum = [0.0 for col in range(STATUS_NUM)]

# 打开文件，读取每一行
f_txt = open(doc_path,'r',encoding='utf-8')

while True:
    line = f_txt.readline()
    if not line:
        break
    line = line.strip()
    if len(line)<1: continue

    words = line.split()
    #一行中所有word
    ch_lst = []
    #一行中所有词的状态
    status_lst = []
    # 获取一句话中每个字符对应的B，M，E，S [0,1,2,3]状态
    for word in words:
        #一句话中所有单词
        cur_ch_lst = get_word_ch(word=word)
        #一句话的单词个数
        cur_ch_num = len(cur_ch_lst)

        # 初始化字符状态0
        cur_status_lst = [0 for ch in range(cur_ch_num)]

        # 如果只有单个字状态为3：S
        if cur_ch_num == 1:
            cur_status_lst[0] = 3
        else:
            # 标识B：0
            cur_status_lst[0] = 0
            # 标识E: 2
            cur_status_lst[-1] = 2
            # 标识M：1
            for i in range(1,cur_ch_num-1):
                cur_status_lst[i] = 1
        # 一行的所有词放到ch_lst，状态放到status_lst
        ch_lst.extend(cur_ch_lst)
        status_lst.extend(cur_status_lst)

    for i in range(len(ch_lst)):
        #取处状态
        cur_status = status_lst[i]
        #取处词
        cur_ch = ch_lst[i]
        # 存储初始量（统计每句话的开始概率π）
        if i == 0:
            pi[cur_status] += 1.0
            pi_sum += 1.0

        # 存储发射统计量B
        if cur_ch in B[cur_status]:#如果这个字符在它对应的状态的字典里面
            B[cur_status][cur_ch] += 1.0  #
        else:
            # 从状态发射到中文字符
            B[cur_status][cur_ch] =1.0
        B_sum[cur_status] += 1.0   # 统计多少个单词

        # 存储转移统计量 A
        if i+1 < len(ch_lst)-1:
            #下一个状态
            A[cur_status][status_lst[i+1]] += 1.0
            A_sum[cur_status] += 1.0

f_txt.close()

# 将统计结果转化成概率形式
for i in range(STATUS_NUM):
    pi[i]/=pi_sum
    # A
    for j in range(STATUS_NUM):
        A[i][j]/=A_sum[i]
    for ch in B[i]:
        B[i][ch] /= B_sum[i]

# 存储模型 -> 模型文件：将概率转化成log形式
f_mod =open(mod_path,'wb')
for i in range(STATUS_NUM):
    if pi[i]!=0.0:
        log_p = math.log(pi[i])
    else: log_p=0.0  #因为我们要相加的，所以必须设置成0
    f_mod.write(str(log_p).encode()+' '.encode())
f_mod.write('\n'.encode())

# A转移矩阵
for i in range(STATUS_NUM):
    for j in range(STATUS_NUM):
        if A[i][j]!=0.0:
            log_p = math.log(A[i][j])
        else:log_p = 0.0
        f_mod.write((str(log_p)+' ').encode())
    f_mod.write('\n'.encode())#这样写就行

# 发射概率
for i in range(STATUS_NUM):
    for ch in B[i]:
        if B[i][ch]!=0.0: log_p = math.log(B[i][ch])
        else:log_p = 0.0
        f_mod.write((str(ch)+' '+str(log_p)+' ').encode())
    f_mod.write('\n'.encode())
f_mod.close()

hmm_seg.py(隐马做切词)


test_txt = '.\\data\\test.txt'
mod_path = '.\\data\\hmm_mod.data'
def get_word_ch(word):
    ch_lst=[]
    i = 0
    word_len = len(word)
    while i<word_len:
        ch_lst.append(word[i])
        i+=1
    return  ch_lst

# init 参数
STATUS_NUM = 4

B = [dict() for col in range(STATUS_NUM)]
#模型
f_mod =open(mod_path,'r',encoding='utf-8')

# 加载初始log概率
pi = [float(i) for i in f_mod.readline().split()]

# 加载转移矩阵
A = [[float(j) for j in f_mod.readline().split()] for i in range(STATUS_NUM)]

# 加载发射矩阵
for i in range(STATUS_NUM):
    B_i_tokens = f_mod.readline().split()
    token_num = len(B_i_tokens)
    j = 0
    while j+1 < token_num:
        B[i][B_i_tokens[j]] = float(B_i_tokens[j+1])
        # if j<= 10:
        #     print(str(B_i_tokens[j])+":"+B_i_tokens[j+1])
        j += 2
f_mod.close()

# seg切词
f_txt = open(test_txt,'r',encoding='utf-8')
while True:
    line = f_txt.readline()
    if not line: break
    line = line.strip()

    ch_lst = get_word_ch(line)
    ch_num = len(ch_lst)

    if ch_num < 1:
        print()
        continue

    # 初始化状态矩阵
    status_matrix = [[[0.0, 0] for col in range(ch_num)] for st in range(STATUS_NUM)]

    # init
    for i in range(STATUS_NUM):
        if ch_lst[0] in B[i]:
            cur_B = B[i][ch_lst[0]]
        else:cur_B = -100000.0
        if pi[i] == 0.0:
            cur_pi = -100000.0
        else:
            cur_pi = pi[i]
        status_matrix[i][0][0] = cur_pi+cur_B
        status_matrix[i][0][1] = i

    # viterbi算法
    for i in range(1,ch_num):#从第2列开始
        for j in range(STATUS_NUM):
            max_p = None  # 存最大概率
            max_status = None  # 存状态的
            for k in range(STATUS_NUM): #k是j的前一列的状态，从k到j需要转移概率
                cur_A = A[k][j] #k到j跳转概率
                if cur_A == 0.0: cur_A = -10000.0  # 取到0得做平滑处理
                cur_p = status_matrix[k][i-1][0] +cur_A #因为是log,所以+cur_A相当于前一个k处的概率乘以跳转概率
                if max_p is None or max_p<cur_p:
                    max_p=cur_p
                    max_status = k   #贪心算法是在这几个里面取最大的，然后在这4个里面还是取最大的。动态规划是前面4个都经过我，从这4个到我的乘机概率选最大的。
            if ch_lst[i] in B[j]:
                cur_B = B[j][ch_lst[i]]
            else:
                cur_B = -100000.0
            status_matrix[j][i][0] = max_p +cur_B #保存最大概率
            status_matrix[j][i][1] = max_status   #保存上一层的状态，便于我们最后往回找的时候的路径。

    # 获取最终最大的概率，对应找到这条路径
    max_end_p = None
    max_end_status = None
    for i in range(STATUS_NUM):  #从最后一列往前数，4个状态那个概率最大的
        if max_end_p is None or status_matrix[i][ch_num-1][0]>max_end_p:
            max_end_p = status_matrix[i][ch_num-1][0]  #最后一列最大的概率
            max_end_status = i      #找出概率最大的是哪个状态
    best_status_lst = [0 for ch in range(ch_num)]    #初始化最优路径
    best_status_lst[ch_num-1] = max_end_status      #保存最有路径的状态

    i = ch_num -1
    cur_best_status = max_end_status

    #便利处最优路径
    while i>0:
        pre_best_status = status_matrix[cur_best_status][i][1]
        # 存最优路劲
        best_status_lst[i-1] = pre_best_status
        cur_best_status = pre_best_status
        i -= 1  #往前遍历
    print(line)  #原始的
    print(best_status_lst)   #最优的

    #最后按BMES切词
    out_s = ""
    out_s+= ch_lst[0]
    for i in range(1,ch_num):
        if best_status_lst[i-1] in {2,3} or best_status_lst[i] in {0,3}:
            out_s += "  "  #如果在E，S  或者 B,S中，则按空格切分
        out_s+=str(ch_lst[i])
    out_s+='\n'
    print(out_s)
谁说大象不能跳舞
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器学习中的隐马尔科夫模型（HMM）详解
白马负金羁
05-01 7万+
本文介绍机器学习中非常重要的隐马尔可夫模型（HMM，Hidden Markov Model），它也是一种PGM。更准确地说，HMM是一种特殊的贝叶斯网络。HMM在自然语言处理、计算机视觉，以及语言识别方面都有重要应用。
图像处理基本概念——卷积，滤波，平滑
小熊不去实验室
03-30 2万+
/*今天师弟来问我，CV的书里到处都是卷积，滤波，平滑……这些概念到底是什么意思，有什么区别和联系，瞬间晕菜了，学了这么久CV，卷积，滤波，平滑……这些概念每天都念叨好几遍，可是心里也就只明白个大概的意思，赶紧google之~ 发现自己以前了解的真的很不全面，在此做一些总结，以后对这种基本概念要深刻学习了~*/ 1.图像卷积（模板） (1).使用模板处理图像相关概念：
MPEG-7描述子(0)——颜色空间
zzIymt的专栏
02-19 2303
颜色空间RGB计算机颜色显示器显示颜色的原理与彩色电视机一样，都是采用R、G、B相加混色的原理，通过发射出三种不同强度的电子束，使屏幕内侧覆盖的红、绿、蓝磷光材料发光而产生颜色的。这种颜色的表示方法称为RGB颜色空间表示。在多媒体计算机技术中，用得最多的是RGB颜色空间表示。一幅RGB图像就是M×N×3大小的彩色像素的数组，其中的每个彩色像素点都是在特定空间位置的彩色图像所对应的红、绿、蓝三个分量。
【项目仿真】Coop_MIMO_Cellular_HMMD_Ergodic.rar
08-16
【项目仿真】Coop_MIMO_Cellular_HMMD_Ergodic.rar
平滑(smoothing)
aaron的专栏
10-21 1万+
1 问题的提出 由于在现实生活中，我们的观察尺度有限，我们的样本（输入）很可能没有办法包含所有可能的情况，那么我们怎么去处理先前看不见的事件呢？ 1 举个例子，莎士比亚使用了30000个双连词(bigram),然而我们总共有V^2=8.44亿个可能的双连词，所以，99.96%的可能的双连词都没有出现过，那是不是意味着，任何句子包含有其中某一种双连词的概率就为0呢？同样的问题有很多，当我们面对
HMM中文分词
06-19
基于HMM的中文分词代码，虽然基于字标注的中文分词借鉴了词性标注的思想，但是在实践中，多数paper中的方法似乎局限于最大熵模型和条件随机场的应用，所以我常常疑惑字标注中文分词方法为什么不采用别的模型和方法呢...
HMM模型HMM模型HMM模型
最新发布
03-17
隐马尔可夫模型（Hidden Markov Model，简称HMM）是概率统计领域的一种重要的数学模型，广泛应用于自然语言处理、语音识别、生物信息学等多个IT领域的关键问题中。HMM模型的核心思想在于假设系统处于一系列不可直接...
基于HMM的语音识别MATLAB代码
04-20
【基于HMM的语音识别MATLAB代码】是一个关于利用隐马尔科夫模型（Hidden Markov Model, 简称HMM）进行语音识别的项目。在这个项目中，重点是运用HMM理论来处理和分析四种不同的方言。每种方言分别有80个样本用于训练...
HMM.rar_HMM
09-24
隐马尔可夫模型（Hidden Markov Model，简称HMM）是一种统计模型，广泛应用于自然语言处理、语音识别、生物信息学等领域。本教程将深入浅出地介绍HMM的基本概念、模型结构以及核心算法，旨在帮助读者在轻松的氛围中...
HMM分词.rar
06-28
标题中的“HMM分词”指的是使用隐马尔科夫模型（Hidden Markov Model, HMM）进行文本分词的技术。在自然语言处理领域，分词是预处理的第一步，它将连续的文本序列切分成有意义的词语单元，这对于后续的语义分析、...
Maximum Mean Discrepancy理解(MMD)
bbbeoy的专栏
08-23 7628
https://blog.csdn.net/tunhuzhuang1836/article/details/78058184 MMD理解 1.定义 MMD：maximum mean discrepancy。最大平均差异。参考网上定义为：基于两个分布的样本，通过寻找在样本空间上的连续函数f，求不同分布的样本在f上的函数值的均值，通过把两个均值作差可以得到两个分布对应于f的mean discrepancy。寻找一个f使得这个mean discrepancy有最大值，就得到了MMD。最后取MMD作为检验统计
二阶和三阶隐马尔柯夫过程（HMM）进行中文分词的效果对比
时空霹雳的专栏
08-01 5377
第一部分 引言         关于隐马尔柯夫模型的详细内容在此就不详细介绍了，介绍HMM模型的文章很多，请读者自行去学习。二阶隐马尔柯夫模型解决问题有两个假设：其一是当前的状态仅与它前面相邻的状态有关；其二是状态转换和从某个状态发射某个观察符号的概率与时间t无关（即不动性假设）。HMM是在这两个假设的前提下解决各种各样的问题的。        对于第二个假设，我们不去讨论它。现在来看第一
网络流量预测 国内外研究现状【见评论】——传统的ARIMA、HMM模型，目前LSTM、GRU、CNN应用较多，貌似小波平滑预处理步骤非常关键...
djph26741的博客
08-08 1417
Time Series Anomaly Detection in Network Traffic: A Use Case for Deep Neural Networks from：https://jask.com/time-series-anomaly-detection-in-network-traffic-a-use-case-for-deep-neu...
MPEG-7 视觉描述符
dianyimo9099的博客
11-21 358
本文节选自《基于MPEG-7与内容的图像检索技术的研究》。 MPEG-7 标准中视觉描述工具包括基本结构和描述符。本文主要介绍各描述符。 （1）颜色描述符 MPEG-7 主要定义了七种颜色描述符：颜色空间、主颜色、颜色的量化、颜色直 方图、颜色布局、GOF/GOP 颜色、颜色结构、对颜色的特征和结构进行描述。他们之间的关系如图 2.2 所示。 ①颜色空间...
HTK语音识别生成hmmdef文件小工具
qq_21431111的专栏
04-24 1420
最近一直在参考HTKbook第三章做HTK语音识别，其中有一步是根据proto和monophones0生成一个hmmdefs文件。自己的训练数据太多，没有找到合适的脚本来生成这个hmmdef文件，所以就用C语言写了一个小工具来生成这个文件。 工具名字：gethmmdefs 参数说明：一共需要三个参数 1.proto文件路径 2.monophones0文件路径 3.生成的hmmdefs文件
史上最详细最容易理解的HMM文章
热门推荐
Flying Dreams
10-15 6万+
http://www.52nlp.cn/hmm-learn-best-practices-four-hidden-markov-models wiki上一个比较好的HMM例子 分类 隐马尔科夫模型  　　HMM(隐马尔科夫模型)是自然语言处理中的一个基本模型，用途比较广泛，如汉语分词、词性标注及语音识别等，在NLP中占有很重要的地位。网上关于HMM的介绍讲解文档很多，我自己当时开始看的时
将Excel的数据自动导入到neo4j中去
谁说大象不能跳舞
03-10 4948
1.DataToNeo4jClass.py # -*- coding: utf-8 -*- from py2neo import Node, Graph, Relationship class DataToNeo4j(object): """将excel中数据存入neo4j""" # 初始化 def __init__(self): """建立连接"""...
对excel里面列分词
谁说大象不能跳舞
02-04 3284
import jieba import xlrd from datetime import date,datetime import xdrlib,sys import xlwt def read_excel(): data =xlrd.open_workbook(r"C:\Users\jhy\Desktop\2019全年用户问题未识别9224-15000.xlsx") f...
Excel转成REC的格式文件
谁说大象不能跳舞
09-11 1885
import os import pandas as pd import numpy as np import re os.chdir(os.getcwd()) path = r"D:\Example\untitled\excel生成REC通用\\工作簿1" file = "最美四季" data = pd.read_excel(r"{0}\{1}.xlsx".format(path,fil...
动态规划与HMM算法解析
"动态规划与HMM课程，由邹博主讲，内容涵盖线性表、递归分治、字符串、数组、树、图等基础知识，以及动态规划、概率组合数论、海量数据处理等高级主题，并特别介绍了隐马尔科夫模型(HMM)。课程强调理论、实践和代码...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值