详解Markov Chain Monte Carlo (MCMC)

最新推荐文章于 2021-11-22 22:08:26 发布
最新推荐文章于 2021-11-22 22:08:26 发布
阅读量2.1k 收藏 3
点赞数
分类专栏： 机器学习小屋 文章标签： 机器学习 mcmc
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ltz0120/article/details/109637946
版权
本文详细介绍了Markov Chain Monte Carlo (MCMC)方法，首先解释了蒙特卡罗方法的基本概念，如通过随机采样估算期望。接着讨论了蒙特卡罗积分在函数积分近似中的应用。然后，深入探讨了马尔可夫链的平稳分布及其性质，以及在MCMC中的作用。最后，介绍了Metropolis-Hastings算法作为MCMC的一种实现方式。
摘要由CSDN通过智能技术生成

 

MCMC的本质是通过Markov Chain的stationary distribution(平稳分布)来指导随机采样的一种方法。说到MCMC， 首先要先了解什么是Monte Carlo和Markov Chain。

1. Monte Carlo (蒙特卡罗方法):

蒙特卡罗方法是指通过构造符合一定规则的随机数来解决数学上的各种问题，本质是根据采样来做估计期望(estimate expected value by sampling)，用公式表达：

\mathbb{E}_x[f(x)] = \int_{x\in \mathbb{X}}f(x)p(x)dx = \frac{1}{N}\sum_{s=1}^Nf(x_s), x_s\sim p(x)

就是根据x的分布p(x)来采样，并估算f(x)的期望.

具体步骤是

  1. 用蒙特卡罗方法模拟某一过程时，需要产生各种概率分布的随机变量。
  2. 用统计方法把模型的数字特征估计出来，从而得到实际问题的数值解。

举个例子：如何用Monte Carlo来计算圆周率\pi

我们选取一个1\times1大小的正方形，并在上面画1/4的圆。在这个正方形上根据uniform distribution来随机生成N个

最低0.47元/天 解锁文章
ltz0120
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Markov Chain Monte Carlo Methods
09-26
### Markov Chain Monte Carlo (MCMC) 方法详解 #### 引言与动机 MCMC 方法是一种在统计学和机器学习领域广泛应用的抽样技术，尤其适用于处理高维问题和复杂的概率分布。该方法的核心思想是通过构建一个马尔可夫链...
High dimensional Markov chain Monte Carlo methods
09-26
### 高维马尔科夫链蒙特卡洛方法（High Dimensional Markov Chain Monte Carlo Methods） #### 知识点概述 本文档旨在探讨如何利用马尔科夫链蒙特卡洛（MCMC）方法处理高维数据，并通过逐步深入的教学方式帮助读者...
马尔可夫链蒙特卡罗法 (Markov Chain Monte Carlo, MCMC)
连理o的博客
10-22 7055
目录蒙特卡罗法 (Monte Carlo Method)随机抽样 (random sampling)数学期望估计 (estimation of mathematical expectation)定积分的近似计算 (Monte Carlo integration)马尔可夫链 (Markov Chain)基本定义离散状态马尔可夫链转移概率矩阵和状态分布 蒙特卡罗法是通过从概率模型的随机抽样进行近似数值计算的方法。马尔可夫链蒙特卡罗法则是以马尔可夫链为概率模型的蒙特卡罗法。马尔可夫链蒙特卡罗法构建一个马尔可夫链
Markov Chain Monte Carlo
qq_21349409的博客
10-17 3869
转载至https://zhuanlan.zhihu.com/p/25610149 [数据分析] Markov Chain Monte Carlo Markov Chain Monte Carlo简称MCMC，是一个抽样方法，用于解决难以直接抽样的分布的随机抽样模拟问题。 在基础概率课我们有学过，已知一个概率分布函数F(X)，那么用电脑产生服从Uniform分布的随机数U，代入，那
Markov Chain Monte Carlo（MCMC采样）
nakaizura
01-07 1万+
MCMC由两个MC组成，即蒙特卡罗方法（Monte Carlo Simulation，简称MC）和马尔科夫链（Markov Chain ，也简称MC）。要弄懂MCMC的原理我们首先得搞清楚蒙特卡罗方法和马尔科夫链的原理。 Monte Carlo方法： 为什么要使用它？ θ=∫abf(x)dx\theta = \int_a^b f(x)dxθ=∫ab​f(x)dx诸如上式求积分，但如果f（x）相当复...
（转）Markov Chain Monte Carlo
a1424262219的博客
10-01 674
Nice R Code Punning code better since 2013 RSS Blog Archives Guides Modules About Markov Chain Monte Carlo 10 JUNE 2013 This topic doesn’t have much to do with nicer cod...
马尔科夫链蒙特卡洛(Markov chain Monte Carlo)
dianjun9551的博客
02-14 332
(学习这部分内容大约需要1.3小时) 摘要 马尔科夫链蒙特卡洛(Markov chain Monte Carlo, MCMC) 是一类近似采样算法. 它通过一条拥有稳态分布 \(p\) 的马尔科夫链对目标分布 \(p\) 进行采样. 预备知识 学习MCMC需要以下预备知识 条件分布: MCMC常常被用于从条件分布中采样. 蒙特卡洛估计(Monte Carlo estimation) 马...
An Introduction to Markov Chain Monte Carlo Methods and Their Actuarial Applications
11-27
#### 三、吉布斯采样器详解 ##### 3.1 吉布斯采样器的概念 吉布斯采样器是一种特殊的MCMC方法，它通过从模型的全条件分布中进行抽样来模拟复杂模型中的样本。在多变量的情况下，这种方法的优势在于它可以将问题...
random-simulation.rar_MARKOV_Markov-chain text_markov chain_mcmc
最新发布
09-14
马尔科夫链蒙特卡洛（Markov Chain Monte Carlo，简称MCMC）是一种强大的统计模拟技术，广泛应用于各种领域，如物理、生物信息学、经济、工程和计算机科学。它通过构建一个满足马尔科夫性质的随机过程，来抽样复杂...
Markov Chain Monte Carlo and Gibbs Sampling
04-11
这个参考文献的可读非常好，先介绍Markov chain的ergodic，然后在介绍metropolis， 接着介绍Metropolis-Hasting算法最后介绍Gibbs Sampling.
Markov Chain Monte Carlo in Practice
09-22
MCMC方法就是*构造合适的马尔科夫链进行抽样而使用蒙特卡洛方法进行积分计算,既然马尔科夫链可以收敛到平稳分布。我们可以建立一个以π为平稳分布的马尔科夫链，对这个链运行足够长时间之后，可以达到平稳状态。此时马尔科夫链的值就相当于在分布π(x)中抽取样本。利用马尔科夫链进行随机模拟的方法就是MCMC。 第一个MC: Monte Carlo(蒙特卡洛)。这个简单来说是让我们使用随机数（随机抽样）来解决计算问题。在MCMC中意味着：后验分布作为一个随机样本生成器，我们利用它来生成样本(simulation)，然后通过这些样本对一些感兴趣的计算问题（特征数，预测）进行估计。 第二个MC：Markov Chain(马尔科夫链)。第二个MC是这个方法的关键，因为我们在第一个MC中看到，我们需要利用后验分布生成随机样本，但后验分布太复杂，当这些样本独立时，利用大数定律样本均值会收敛到期望值。如果得到的样本是不独立的，那么就要借助于马尔科夫链进行抽样，利用Markov Chain的平稳分布这个概念实现对复杂后验分布的抽样。
mcmc.rar_mcmc
09-14
【标题】: "Markov Chain Monte Carlo (MCMC) 技术详解" 【内容】 Markov Chain Monte Carlo（马尔科夫链蒙特卡洛）是一种统计抽样方法，广泛应用于各种领域，如物理、生物信息学、计算化学、机器学习等。MCMC方法...
MCMC(Markov Chain Monte Carlo) and Gibbs Sampling
Bluebelfast的专栏
12-04 2423
1.   随机模拟 随机模拟(或者统计模拟)方法有一个很酷的别名是蒙特卡罗方法(Monte Carlo Simulation)。这个方法的发展始于20世纪40年代，和原子弹制造的曼哈顿计划密切相关，当时的几个大牛，包括乌拉姆、冯.诺依曼、费米、费曼、Nicholas Metropolis， 在美国洛斯阿拉莫斯国家实验室研究裂变物质的中子连锁反应的时候，开始使用统计模拟的方法,并在最早的计算机上进
MCMC(Markov Chain Monte Carlo)
学习是一种习惯
05-25 942
MCMC是一种简单易行且应用广发的计算随机模拟方法，该方法的核心是构造一个概率转移矩阵，建立一个以分布π(x)为平稳分布的的Markoc链来得到π(x)的样本，通过随机抽样的这些样本就可以进行各种统计推断。     有以下三步：          1. 在观测样本上选择一个合适的Markov链，使其转移核为p(.,.),合适的含义就是指π(x)为其平稳分布          2. 有观测样
什么是Markov chain Monte Carlo？
windowsLearner的专栏
01-28 966
MCMC方法是一种重要的模拟计算方法，马尔可夫链蒙特卡尔理论(Markov chain Monte Carlo：MCMC)的研究对建立可实际应用的统计模型开辟了广阔的前景。90年代以来，很多应用问题都存在着分析对象比较复杂与正确识别模型结构的困难。现在根据MCMC理论，通过使用专用统计软件进行MCMC模拟，可解决许多复杂性问题。此外，得益于MCMC理论的运用，使得贝叶斯(Bayes)统计得到了再度
13 MCMC(Markov Chain Monte Carlo)（二）
cengjing12的博客
06-06 548
1 采样 在前面的章节中，我们已经基本介绍了Markov Chain Monte Carlo Sampling 的基本概念，基本思路和主要方法。那么这一小节中，我们将主要来介绍一下，什么是采样？我们为什么而采样？什么样的样本是好的样本？以及我们采样中主要会遇到哪些困难？ 1.1 采样的动机 这一小节的目的就是我们要知道什么是采样的动机，我们为什么而采样？ 首先第一点很简单，采样本身就是发出常见的任务，我们机器学习中经常需要进行采样来完成各种各样的任务。如果从一个P(X)P(X)P(X) 中采出一堆样本。
13 MCMC(Markov Chain Monte Carlo)
weixin_46125345的博客
11-22 549
MCMC（Markov Chain Monte Carlo）1 采样方法1.1概率分布采样1.2 拒绝采样(Rejection Sampling)1.3 重要性采样(Importance Sampling)1.4 重要性重采样(Sampling Importance Resampling)2 Markov Chain2.1 基础概念介绍2.2 平稳分布(Stationary Distribution)3 MH采样（Metropolis Hastings Sampling）3.1 Proposal Matri
MCMC（Markov Chain Monte Carlo）的理解与实践（Python）
热门推荐
01-03 1万+
Markov Chain Monte Carlo (MCMC) methods are a class of algorithms for sampling from a probability distribution based on constructing a Markov chain that has the desired distribution as its stationary d
MCMC方法详解：粒子滤波与Markov链在统计计算中的关键步骤
MCMC（Markov Chain Monte Carlo）方法是一种在统计计算中广泛应用的模拟抽样技术，用于解决复杂的高维度概率分布的估计问题。MCMC的核心在于通过构建一个马尔可夫链，该链具有目标概率分布作为其极限分布。下面是...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值