泛统计理论初探——初探MCMC采样和MH采样

最新推荐文章于 2022-04-26 12:09:14 发布

喷火龙与水箭龟

最新推荐文章于 2022-04-26 12:09:14 发布

阅读量3.1k

点赞数 3

分类专栏：统计学习文章标签：机器学习人工智能算法深度学习数据挖掘

本文链接：https://blog.csdn.net/qq_26727101/article/details/108677127

版权

本文介绍了MCMC采样和Metropolis-Hastings（MH）采样在统计学习中的应用，特别是针对高维度数据。MCMC是蒙特卡洛马尔科夫链方法，利用细致平稳条件进行采样，而MH采样是MCMC的一种优化，通过调整接受概率提高采样效率。文章详细阐述了两种方法的基本原理和步骤，强调了在实际机器学习问题中，MH采样的广泛应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

统计学习-MCMC采样与MH采样简介

初探MCMC采样方法和MH采样方法
    在之前介绍的文章中，我们介绍了基本的采样方法。在了解简单的采样方法后，本次文章将会介绍MCMC采样方法与优化的MH采样方法，这两种方法对于一些高维度特征的数据可以进行比较合理的采样。
    MCMC采样方法其实就是蒙特卡洛马尔科夫链的采样方法，因为这两个术语的英文简写都是MC，所以我们使用MCMC采样来代替。MH采样方法的英文是Metropolis-Hasting，它是一种基于MCMC采样的优化方法，在实际机器学习问题中使用较多。下面我们开始介绍这两种方法：
    首先是MCMC方法，该方法里的蒙特卡洛方法是一种计算数值积分的方法，将一些很难从解析形式求解的定积分转为基于概率分布的级数求和的方法进行逼近求解。但是要使用蒙特卡洛方法最重要的是需要事先明确概率分布的函数，如果是简单的分布形式比如F分布、Gamma分布等，可以通过与均匀分布进行映射变换得到；而对于复杂分布或者不常见分布，则需要进行“接受-拒绝采样”来进行逼近原始的复杂分布，这种思路就是用一个简单的分布形式比如正态分布去完全覆盖原有的复杂分布，也就是下图的两个分布形式，如果每次抽样落在灰色区域的时候就拒绝抽样，反之则接受抽样。
在这里插入图片描述
    其实要介绍的是MCMC方法里的马尔科夫链方法，这种马尔可夫链假设的是当前状态只和之前的一个状态有关系存在，和之前的历史状态都无关。那么这种非周期的马尔可夫链就有一个比较好的性质，也就是会收敛到一个稳态的分布。使用马尔可夫链方法进行抽样的时候

最低0.47元/天解锁文章