mh采样算法推导_深度学习：Gibbs 采样

最新推荐文章于 2024-07-14 19:51:54 发布

有石

最新推荐文章于 2024-07-14 19:51:54 发布

阅读量1.9k

点赞数 1

文章标签： mh采样算法推导

本文链接：https://blog.csdn.net/weixin_35548486/article/details/111913534

版权

本文介绍了Gibbs采样，它是Metropolis-Hastings算法的一种特殊情况，主要用于处理多维概率分布的抽样。Gibbs采样通过条件概率逐个更新变量，达到采样的目的。文章还提到了马尔科夫链的平衡状态和Metropolis-Hastings算法在概率分布采样中的应用。

摘要由CSDN通过智能技术生成

1. 什么是Gibbs采样

Gibbs采样是MH算法的一种特例(α==1)，因此可以保证Gibbs抽取的样本，也构成一个非周期不可约稳定收敛的马氏链；Gibbs采样适用于样本是两维或以上的情况；通过积分去除掉相关但是不感兴趣的变量，称为“collapsed”的Gibbs采样；并且个人的一个感觉是，观测量所直接依赖的那些变量是不能被积分掉的，否则无法有效的进行抽样…

gibbs采样需要知道样本中一个属性在其它所有属性下的条件概率，然后利用这个条件概率来分布产生各个属性的样本值。gibbs采样属于随机模拟抽样算法中的一种(一类近似求解的方法)。随机模拟的核心是对一个分布进行抽样，常用的抽样算法包括：1. 接受-拒绝抽样；2)重要性抽样；3)MCMC(马尔科夫链蒙特卡洛方法)方法，它包括两个非常著名的采样算法(metropolis-hasting算法和它的特例Gibbs采样算法)(补充：MCMC方法最早由Metropolis(1954)给出，后来Metropolis的算法由Hastings改进，合称为M-H算法。M-H算法是MCMC的基础方法。由M-H算法演化出了许多新的抽样方法，包括目前在MCMC中最常用的Gibbs抽样也可以看做M-H算法的一个特例)。

Gibbs算法，就是用条件分布的抽样来替代全概率分布的抽样。例如，X={x1,x2,...xn}满足分布p(X)，如何对p(X)进行抽样呢？如果我们知道它的条件分布p(x1|X_{-1}),...,p(xi|X_{-i}),....，其中X_{-i}表示除了xi之外X的所有变量。如果这些条件分布都是很容易抽样的，那么我们就可以通过对条件分布的抽样来对全概率分布p(X)进行抽样。

Gibbs采样算法的步骤：