机器学习：《统计学习方法》笔记（一）—— 隐马尔可夫模型

最新推荐文章于 2021-09-01 00:24:49 发布

另一个我竟然存在

最新推荐文章于 2021-09-01 00:24:49 发布

阅读量485

点赞数 1

分类专栏：机器学习机器学习理论及应用

本文链接：https://blog.csdn.net/qq_24034545/article/details/83781200

版权

本文介绍了隐马尔可夫模型的基本概念、概率计算和学习方法。通过前向算法、后向算法及Baum-Welch学习算法解释了模型参数的计算，并探讨了维特比算法在预测中的应用。内容涵盖模型的定义、状态转移、观测概率以及在概率计算和学习中的应用。

摘要由CSDN通过智能技术生成

参考：《统计学习方法》——李航；隐马尔可夫模型——码农场

摘要

介绍隐马尔可夫模型的基本概念、概率计算、学习方法、预测方法等内容。

正文

1. 基本概念

隐马尔可夫模型是关于时序的模型，描述一个隐藏的马尔可夫链随机生成不可观测的状态序列，再由各个状态序列生成一个可观测的观测序列的过程。模型由初始概率分布（ $\small \pi$ ）、状态转移概率分布( $\small A$ )、观测概率分布( $\small B$ )决定，即模型可以表示为 $\small \lambda =\left(A,B,\pi \right )$ 。

状态转移矩阵：

$A=\left[a_{ij} \right ]_{N\times N}$ ，

其中 $a_{ij}$ 表示从状态 $i$ 转变为状态 $j$ 的概率，即

$a_{ij}=P\left(i_{t+1}=q_{j}|i_{t}=q_{i} \right ), i=1,2,3...N; j=1,2,3...N$ 。

观测矩阵：

$B=\left[b_{j}\left(k \right ) \right ]_{N \times M}$ ，

其中 $b_{j}\left(k \right )$ 表示在时刻 $t$ 处于状态 $q_{j}$ 时，观测为 $v_{k}$ 的概率，即

$b_{j}\left(k \right )=P\left(o_{t}=v_{k}|i_{t}=q_{j} \right ), k=1,2,3...M; j=1,2,3...N$ 。

初始概率分布：

$\small \pi=\left(\pi_{i}\right)$ ，

其中 $\small \pi_{i}$ 表示初始时处理状态 $\small q_{i}$ 的概率，即

$\small \pi=P\left(i_{1}=q_{i} \right ), i=1,2,3...N$ 。

需要注意的是，从模型的定义上来看，模型有两个假设：当前时刻的状态只与前一时刻的状态相关（齐次马尔可夫性）；当前时刻的观测只取决于当前的状态（观测独立性）。

注：笔者在看书时有个疑惑，即在时刻状态为 $q_{i}$ ，时刻的状态是 $q_{j}=q_{i}a_{ij}$ 还是 $q_{j}=q_{i}b_{i}\left(o_{t})a_{ij}$ 。应该是前者，即中间状态噏状态相关，与观测无关。

2. 概率计算

马尔可夫模型的概率计算问题，可以归结为给定模型 $\small \lambda =\left(A,B,\pi \right )$ 和观测序列 $\small O=\left(o_{1},o_{2} ,...,o_{T}\right )$ ，计算在模型 $\small \lambda$ 下观测序列出现的概率 $\small P\left(O|\lambda \right )$ 。可以利用前向后向算法来计算。

2.1前向算法

前向概率：给定马尔可夫模型 $\small \lambda$ ，定义到时刻 $\small t$ 时，状态为 $\small q_{i}$ ，观测序列为 $\small o_{1},o_{2},...o_{t}$ 的概率为前向概率。即

$\small \alpha_{t} \left(i \right ) = P\left(o_{1},o_{2},...,o_{t},i_{t}=q_{i}|\lambda \right )$ 。

假设初始值为

$\small \alpha_{1}\left(i \right ) = \pi_{i}b_{i}\left(o_{1} \right ), i=1,2,..N$ ，

时刻

最低0.47元/天解锁文章

另一个我竟然存在

关注

1
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
机器学习：《统计学习方法》笔记（一）—— 隐马尔可夫模型

参考：《统计学习方法》——李航；隐马尔可夫模型——码农场摘要介绍隐马尔可夫模型的基本概念、概率计算、学习方法、预测方法等内容。正文1. 基本概念隐马尔可夫模型是关于时序的模型，描述一个隐藏的马尔可夫链随机生成不可观测的状态序列，再由各个状态序列生成一个可观测的观测序列的过程。模型由初始概率分布（）、状态转移概率分布()、观测概率分布()决定，即模型可以表示为。状态转移矩阵：...
复制链接

扫一扫

专栏目录