HMM（1）

最新推荐文章于 2024-08-20 09:00:00 发布

bingxiash

最新推荐文章于 2024-08-20 09:00:00 发布

阅读量416

点赞数

分类专栏：机器学习算法

本文链接：https://blog.csdn.net/u014168855/article/details/105116720

版权

机器学习算法专栏收录该内容

18 篇文章 0 订阅

订阅专栏

1.HMM介绍
隐马尔可夫模型（HMM，Hidden Markov Model）可用于标注问题，在语音识别,NLP,生物信息，模式识别领域被证明是有效的算法。
HMM是关于时序的概率模型，描述由一个隐藏的马尔可夫链生成不可观测的状态随机序列，再由各个状态生成观测随机序列的过程。
隐马尔可夫模型随机生成的状态随机序列，称为状态序列；每个状态生成一个观测，由此生成的观测随机序列，称为观测序列，序列的每个位置可看作是一个时刻。图如下：
在这里插入图片描述
2.HMM的确定
（1）HMM由初始概率分布 $\pi$ ，状态转移概率分布A以及观测概率分布B确定。
$\lambda=(A, B, \pi)$
（2）HMM的参数
Q是所有状态的集合，N是可能的状态数；
$Q=\left\{q_{1}, q_{2}, \ldots q_{N}\right\}$ V是所有可能的观测的集合，M是可能的观测数：
$V=\left\{v_{1}, v_{2}, \dots v_{M}\right\}$
I是长度为T的状态序列，O是对应的观测序列：
$I=\left\{i_{1}, i_{2}, \ldots i_{T}\right\} \quad O=\left\{o_{1}, o_{2}, \ldots o_{T}\right\}$
A是状态转移概率矩阵：
$A=\left[a_{i j}\right]_{N \times N}$
其中 $a_{i j}=P\left(i_{t+1}=q_{j} | i_{t}=q_{i}\right)$ , $a_{i j}$ 是在时刻t处于状态 $q_{i}$ 的条件下
时刻t+1转移到状态 $q_{j}$ 的概率。
B是观测概率转移矩阵：
$B=\left[b_{i k}\right]_{N \times M}$
其中， $b_{i k}=P\left(o_{t}=v_{k} | i_{t}=q_{i}\right)$ ， $b_{i k}$ 表示在时刻t处于状态 $q_{i}$ 条件
下生成观测 $v_k$ 的概率。
$\pi$ 是初始状态转移向量：
$\pi=\left(\pi_{i}\right)$
其中， $\pi_{i}=P\left(i_{1}=q_{i}\right)$ , $\pi_{i}$ 是时刻t=1处于状态 $q_i$ 的概率。
（3）HMM的参数总结
HMM由初始概率分布 $\pi$ （向量），状态转移概率分布A（矩阵）以及观测概率
分布B（矩阵）确定， $\pi$ 和A决定状态序列，B决定观测序列。因此，HMM可以
用三元符号表示，称为HMM三要素：
$\lambda=(A, B, \pi)$
3.HMM两个基本性质
（1）齐次假设：
$P\left(i_{t} | i_{t-1}, O_{t-1}, i_{t-2}, O_{t-2} \cdots i_{1}, O_{1}\right)=P\left(i_{t} | i_{t-1}\right)$
（2）观测独立性假设：
$P\left(o_{t} | i_{T}, o_{T}, i_{T-1}, o_{T-1} \cdots i_{1}, o_{1}\right)=P\left(o_{t} | i_{t}\right)$
4.HMM举例：
假设有3个盒子，编号为1，2，3，每个盒子都装有红白两种颜色的小球，数目如下：
在这里插入图片描述
按照下面的方法抽取小球，得到球颜色的观测序列：

4.HMM的三个基本问题
(1)概率计算问题：前向-后向算法
给定模型 $\lambda=(A, B, \pi)$ 和观测序列 $O=\left\{\theta_{1}, o_{2}, \ldots o_{T}\right\}$ ，计算模型 $\lambda$ 下观测序列O出现的概率 $\mathrm{P}(\mathrm{O} | \lambda)$ ；
(2)学习问题：Baum-Welch算法（状态未知）
已知观测序列 $O=\left\{o_{1}, o_{2}, \dots o_{T}\right\}$ ，估计模型 $\lambda=(A, B, \pi)$ 的参数，使得在该模型下观测序列 $\lambda)$ 最大；
(3)预测问题：Viterbi算法
解码问题：已知模型 $\lambda=(A, B, \pi)$ 和观测序列 $O=\left\{o_{1}, o_{2}, \ldots o_{T}\right\}$ ，求在给定观测序列条件概率 $\mathrm{P}(\mathrm{I} | \mathrm{O}, \lambda)$ 最大的状态序列I。
5.概率计算问题：
(1)直接计算：
按照概率公式，列举所有可能的长度为T的状态序列 $I=\left\{i_{1}, i_{2}, \ldots i_{T}\right\}$ ，求各个状态序列 $I$ 与观测序列的 $O=\left\{o_{1}, o_{2}, \ldots o_{T}\right\}$ 的联合概率分布 $\mathrm{P}(\mathrm{O}, \mathrm{I} | \lambda)$ ，然后对所有可能的状态序列求和，从而得到 $\mathrm{P}(\mathrm{O} | \lambda)$ 。
状态序列 $I=\left\{i_{1}, i_{2}, \ldots i_{T}\right\}$ 出现的概率是：
$\lambda)=\pi_{i_{1}} a_{i, i_{2}} a_{i_{2} i_{3}} \cdots a_{i_{1-1} i_{2}}$
对固定状态序列 $I$ ，观测序列 $O$ 的概率是：
$\lambda)=b_{i \sigma_{1}} b_{i_{2} o_{2}} \cdots b_{i_{1} o_{T}}$
$O$ 和 $I$ 同时出现的联合概率为：
$\lambda)=P(O | I, \lambda) P(I | \lambda)=\pi_{i_{1}} b_{i_{1} o_{1}} a_{i_{1}i_2} b_{i_{2},o_{2}} \cdots a_{i_{T-1}i_{T}} b_{i_{T} o_{T}}$
对所有可能的序列I求和，得到观测序列 $O$ 的概率
$\lambda)=\sum_{I} P(O, I | \lambda)=\sum_{I} P(O | I, \lambda) P(I | \lambda)$
$=\sum_{i_{1}, i_{2}, \cdots, i_{T}} \pi_{i_{1}} b_{i_{1}, \alpha_{1}} a_{i_{1} i_{2}} b_{i_{2} o_{2}} \cdots a_{i_{1-1} i_{2}} b_{i_{1} o_{T}}$
分析：加和符号中有 $2 T$ 个因子， $I$ 的遍历个数为 $N^{T}$ ，因此，时间复杂度为 $\mathrm{O}\left(\mathrm{T} \mathrm{N}^{\mathrm{T}}\right)$ ，复杂度过高。
(2)前向算法：
定义概率-前向概率和后向概率
在这里插入图片描述
给定 $\lambda$ ,定义到时刻 $t$ 部分观测序列是 $\ldots o t$ 且状态为 $\mathrm{q} 1$ 的概率称为前向概率，记作：
$\alpha_{t}(i)=P\left(o_{1}, o_{2}, \cdots o_{t}, i_{t}=q_{i} | \lambda\right)$
初值： $\alpha_{1}(i)=\pi_{i} b_{i 0}$
递推：对于 $\mathrm{t}=1,2 \ldots \mathrm{T}-1$
$\alpha_{t+1}(i)=\left(\sum_{j=1}^{N} \alpha_{t}(j) a_{j i}\right) b_{i o_{t+1}}$
最终：
$\lambda)=\sum_{i=1}^{N} \alpha_{T}(i)$
举例：盒子球模型
考察盒子球模型，计算观测向量O="红白红"出现的概率,参数如下：
在这里插入图片描述
计算初值：

(3)后向算法：
初值：
$\beta_{T}(i)=1$
递推：对于 $\ldots .1$
$\beta_{t}(i)=\sum_{j=1}^{N}\left(a_{i j} b_{j_{t+1}} \beta_{t+1}(j)\right)$
最终：
$\lambda)=\sum_{i=1}^{N} \pi_{i} b_{i o_{1}} \beta_{1}(i)$