【第21期】观点:人工智能到底用 GPU?还是用 FPGA?

HMM算法

原创 2015年11月18日 10:54:14

HMM算法


算法描述

  1. Generating Patterns
    Generating Patterns包括determination pattern和non- determiniation pattern 两种 ,在non-determiniation中,我们假设当下的状态仅与前k个状态有关,这种假设下得到的模型也就是K阶马尔科夫模型。当k=1时,得到1阶马尔科夫模型。
    一阶马氏模型有以下三个要素:

    • 状态
    • PI向量:系统初始化每个状态的概率
    • 状态转移矩阵(该矩阵在系统生命周期内保持不变)
  2. Hidden Patterns
    观察的状态->(隐藏的状态)->结果
    引入:Hidden Markov Models

建模过程

参数:三元组(PI,A,B)
PI:初始向量
A:转移矩阵
B:观测矩阵(或者混淆矩阵):包含了观察的状态与隐藏状态的关系
前向后向算法
input:Markov Model λ=(A,B,π),观察序列O
output:观测序列概率P(O|λ)
需要的公式:(i=1,2,.....N)
α1(i)=πibi(o1)
αt+1(i)=[Nj=1αt(j)aji]bi(ot+1)
βT(i)=1
βt(i)=Nj+1aijbj(ot+1)βt+1(j)
P(O|λ)=Ni=1Nj=1αt(i)aijbj(ot+1)βt+1(j)
备注:这里的αt(i)定义为前向概率

αt(i)=P(o1,o2,...ot,it=qi|λ)

这里的βt(i)定义为后向概率
βt(i)=P(ot+1,ot+2,...,oT|it=qi,λ

维特比算法
思想:用动态规划(dynamic programming)求概率最大路径(最优路径)
input:Markov Model λ=(A,B,π),观察序列O
output:最优路径I
解法:
STEP1:
δ1(i)=πibi(o1)
ψ1(i)=0
STEP2:
δt(i)=max1jN[δt1aji]bi(ot)
ψt(i)=argmax[δt1(j)aji]
STEP3:
P=maxδT(i)
iT=argmax[δT(i)]
STEP4:最优路径回溯
it=ψt+1(tt+1)
得到最优路径:I=(i1,i2,...,iT)


注意到δα的算法是很相似的,不同在于前者是取最大值,后者是求和。
代码编写(MATLAB)
主函数

%forward algotithm
clc
%===============data===================
A=[0.5,0.2,0.3;0.3,0.5,0.2;0.2,0.3,0.5];
B=[0.5,0.5;0.4,0.6;0.7,0.3];
PI=[0.2,0.4,0.4];
Q=[1,2,3];
T=4;%[~,T]=size(O)
O=[1,2,1,2];
%======forward algorithm method========
alpha=[];
%calculate initial value
[~,num]=size(Q);
for i=1:num
alpha(i)=PI(i)*B(i,O(1));
end
alpha
%recursive
for k=2:T
alpha=recursive(alpha,A,B,O(k),num)
end
%
prob=0;
for i=1:num
    prob=prob+alpha(i);
end
prob
%======back algorithm method==============
beta=ones(1,num)
for k=0:T-2
    beta=recursive1(beta,A,B,O(T-k),num);
end
prob=0;
for i=1:num
    prob=prob+PI(i)*B(i,O(1))*beta(i);
end
prob
%==========viterbi==========================
viter=zeros(T,num);
for i=1:num
viter(1,i)=PI(i)*B(i,O(1));
end
viter
%recursive
flag=2;
path=zeros(T,num);
for i=1:num
    path(1,i)=i;
end
for k=2:T
[viter(k,:),path(flag,:)]=viterbi(viter(k-1,:),A,B,O(k),num)
flag=flag+1;
end

function [outputarray]=recursive(inputarray,A,B,position,num)
outputarray=[];
for i=1:num
    sum=0;
    for j=1:num
        sum=sum+inputarray(j)*A(j,i);
    end
    outputarray(i)=B(i,position)*sum;
end

function [outputarray]=recursive1(inputarray,A,B,position,num)
outputarray=[];
for i=1:num
sum=0;
for j=1:num
sum=sum+A(i,j)*B(j,position)*inputarray(j);
end 
outputarray(i)=sum;
end

function [outputarray,path]=viterbi(inputarray,A,B,position,num)
outputarray=[];
path=[];
for i=1:num
    for j=1:num
        temp(j)=inputarray(j)*A(j,i);
    end
    outputarray(i)=B(i,position)*max(temp);
    path(i)=find(temp==max(temp));
end

结果输出

alpha =

0.1000    0.1600    0.2800

alpha =

0.0770    0.1104    0.0606

alpha =

0.0419    0.0355    0.0528

alpha =

0.0211    0.0252    0.0138

prob =

0.0601

prob =

0.0601

viter =

0.1000    0.1600    0.2800
0.0280    0.0504    0.0420
0.0076    0.0101    0.0147
0.0019    0.0030    0.0022

path =

 1     2     3
 3     3     3
 2     2     3
 1     2     3
版权声明:本文为博主原创文章,未经博主允许不得转载。 举报

相关文章推荐

HMM模型之前向算法

1、介绍 向前算法是用于HMM模型的评估问题。评估问题:对于一个观察序列和通过不同系统得到的HMM模型,怎么判断哪一个HMM模型是最有可能产生这个观察序列。 HMM...

从决策树学习谈到贝叶斯分类算法、EM、HMM

<blockquote style="border-bottom: medium none; border-left: medium non

HMM——前向后向算法

前向后向算法或者Baum-Welch,不太好理解

隐马尔可夫模型(HMM)攻略(转)

隐马尔可夫模型 (Hidden Markov Model,HMM) 最初由 L. E. Baum 和其它一些学者发表在一系列的统计学论文中,随后在语言识别,自然语言处理以及生物信息等领域体现了很大的价值。平时,经常能接触到涉及 HMM 的相关文章,一直没有仔细研究过

HMM学习最佳范例:前向-后向算法(Forward-backward algorithm)

转载自:http://www.52nlp.cn/hmm-learn-best-practices-seven-forward-backward-algorithm-1 七、前向-后向算法(Forwa...

从决策树学习谈到贝叶斯分类算法、EM、HMM

第一篇:从决策树学习谈到贝叶斯分类算法、EM、HMM        (Machine Learning & Data Mining交流群:8986884) ...

隐马尔可夫模型(HMM)简介(转贴)

隐马尔可夫模型(HMM)简介(转贴) 2009-08-14 09:28 请各位读者深吸一口气……呼……开始……(一) 阿黄是大家敬爱的警官,他性格开朗,身体强壮,是大家心目中健康的典范。但是,近一个月来阿黄的身体状况出现异常:情绪

HMM学习最佳范例七:前向-后向算法2

七、前向-后向算法(Forward-backward algorithm)   要理解前向-后向算法,首先需要了解两个算法:后向算法和EM算法。后向算法是必须的,因为前向-后向算法就是利用了前向...

从决策树学习谈到贝叶斯分类算法、EM、HMM

<blockquote style="border-bottom: medium none; border-left: medium non
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)