HMM算法

原创 2015年11月18日 10:54:14

HMM算法


算法描述

  1. Generating Patterns
    Generating Patterns包括determination pattern和non- determiniation pattern 两种 ,在non-determiniation中,我们假设当下的状态仅与前k个状态有关,这种假设下得到的模型也就是K阶马尔科夫模型。当k=1时,得到1阶马尔科夫模型。
    一阶马氏模型有以下三个要素:

    • 状态
    • PI向量:系统初始化每个状态的概率
    • 状态转移矩阵(该矩阵在系统生命周期内保持不变)
  2. Hidden Patterns
    观察的状态->(隐藏的状态)->结果
    引入:Hidden Markov Models

建模过程

参数:三元组(PI,A,B)
PI:初始向量
A:转移矩阵
B:观测矩阵(或者混淆矩阵):包含了观察的状态与隐藏状态的关系
前向后向算法
input:Markov Model λ=(A,B,π),观察序列O
output:观测序列概率P(O|λ)
需要的公式:(i=1,2,.....N)
α1(i)=πibi(o1)
αt+1(i)=[Nj=1αt(j)aji]bi(ot+1)
βT(i)=1
βt(i)=Nj+1aijbj(ot+1)βt+1(j)
P(O|λ)=Ni=1Nj=1αt(i)aijbj(ot+1)βt+1(j)
备注:这里的αt(i)定义为前向概率

αt(i)=P(o1,o2,...ot,it=qi|λ)

这里的βt(i)定义为后向概率
βt(i)=P(ot+1,ot+2,...,oT|it=qi,λ

维特比算法
思想:用动态规划(dynamic programming)求概率最大路径(最优路径)
input:Markov Model λ=(A,B,π),观察序列O
output:最优路径I
解法:
STEP1:
δ1(i)=πibi(o1)
ψ1(i)=0
STEP2:
δt(i)=max1jN[δt1aji]bi(ot)
ψt(i)=argmax[δt1(j)aji]
STEP3:
P=maxδT(i)
iT=argmax[δT(i)]
STEP4:最优路径回溯
it=ψt+1(tt+1)
得到最优路径:I=(i1,i2,...,iT)


注意到δα的算法是很相似的,不同在于前者是取最大值,后者是求和。
代码编写(MATLAB)
主函数

%forward algotithm
clc
%===============data===================
A=[0.5,0.2,0.3;0.3,0.5,0.2;0.2,0.3,0.5];
B=[0.5,0.5;0.4,0.6;0.7,0.3];
PI=[0.2,0.4,0.4];
Q=[1,2,3];
T=4;%[~,T]=size(O)
O=[1,2,1,2];
%======forward algorithm method========
alpha=[];
%calculate initial value
[~,num]=size(Q);
for i=1:num
alpha(i)=PI(i)*B(i,O(1));
end
alpha
%recursive
for k=2:T
alpha=recursive(alpha,A,B,O(k),num)
end
%
prob=0;
for i=1:num
    prob=prob+alpha(i);
end
prob
%======back algorithm method==============
beta=ones(1,num)
for k=0:T-2
    beta=recursive1(beta,A,B,O(T-k),num);
end
prob=0;
for i=1:num
    prob=prob+PI(i)*B(i,O(1))*beta(i);
end
prob
%==========viterbi==========================
viter=zeros(T,num);
for i=1:num
viter(1,i)=PI(i)*B(i,O(1));
end
viter
%recursive
flag=2;
path=zeros(T,num);
for i=1:num
    path(1,i)=i;
end
for k=2:T
[viter(k,:),path(flag,:)]=viterbi(viter(k-1,:),A,B,O(k),num)
flag=flag+1;
end

function [outputarray]=recursive(inputarray,A,B,position,num)
outputarray=[];
for i=1:num
    sum=0;
    for j=1:num
        sum=sum+inputarray(j)*A(j,i);
    end
    outputarray(i)=B(i,position)*sum;
end

function [outputarray]=recursive1(inputarray,A,B,position,num)
outputarray=[];
for i=1:num
sum=0;
for j=1:num
sum=sum+A(i,j)*B(j,position)*inputarray(j);
end 
outputarray(i)=sum;
end

function [outputarray,path]=viterbi(inputarray,A,B,position,num)
outputarray=[];
path=[];
for i=1:num
    for j=1:num
        temp(j)=inputarray(j)*A(j,i);
    end
    outputarray(i)=B(i,position)*max(temp);
    path(i)=find(temp==max(temp));
end

结果输出

alpha =

0.1000    0.1600    0.2800

alpha =

0.0770    0.1104    0.0606

alpha =

0.0419    0.0355    0.0528

alpha =

0.0211    0.0252    0.0138

prob =

0.0601

prob =

0.0601

viter =

0.1000    0.1600    0.2800
0.0280    0.0504    0.0420
0.0076    0.0101    0.0147
0.0019    0.0030    0.0022

path =

 1     2     3
 3     3     3
 2     2     3
 1     2     3
版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

HMM的维特比算法实现分词

  • 2013-09-25 21:10
  • 7.46MB
  • 下载

第一篇:从决策树学习谈到贝叶斯分类算法、EM、HMM

引言     最近在面试中,除了基础 &  算法 & 项目之外,经常被问到或被要求介绍和描述下自己所知道的几种分类或聚类算法(当然,这完全不代表你将来的面试中会遇到此类问题,只是因为我的简历上写了句...

HMM算法及其源码

  • 2015-04-16 11:09
  • 95KB
  • 下载

HMM语音识别算法代码二

  • 2015-04-16 11:08
  • 13KB
  • 下载

HMM 自学教程(六)维特比算法

本系列文章摘自 52nlp(我爱自然语言处理: http://www.52nlp.cn/),原文链接在HMM 学习最佳范例,这是针对国外网站上一个 HMM 教程的翻译,作者功底很深,翻译得很精彩,且在...

HMM最大匹配分词算法(Python)

正向最大匹配算法是我国最早提出的解决中文分词问题的算法,因其简单易操作,至今仍作为机器分词的粗分算法,在今天看来,这种算法的准确率远不够高,无法达到令人满意的要求。这只是一次练习。待切分文本是: 我...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)