MCMC~

已于 2022-01-30 16:23:28 修改
阅读量388 收藏
点赞数
分类专栏： 机器学习 文章标签： 深度学习 机器学习 算法
于 2022-01-29 14:44:24 首次发布
原文链接：https://zhuanlan.zhihu.com/p/30003899
版权

蒙特卡洛采样方法

在这里插入图片描述
1. cdf采样
根据pdf求积分得到cdf，之后在y（0-1）直接均匀分布取值即可采样出x
对于大部分分布来说，无法求出cdf
2. adjection sampling
在可行域中就接受，否则不接受
3.重要性采样
重新构造一个分布q（x）,在q(x)上进行采样（cdf等），同时增加一个权重来纠偏，如果真实p大，q小了那就权重放大，否则权重放下。

马尔可夫链

在这里插入图片描述

MCMC

MH

从第一个值出发，Q是随机矩阵， α \alpha α为接受率，如果接受那么就取新采样出的样本，否则还是采样本样本。接受率控制了马尔科夫链是一个平稳分布。

在这里插入图片描述
在这里插入图片描述

采样

在这里插入图片描述

其他参考资料

链接：https://zhuanlan.zhihu.com/p/30003899
这篇博客写的很不错哦~

蒙特卡洛采样之拒绝采样（Reject Sampling）
白马负金羁
05-15 4万+
蒙特卡洛（Monte Carlo）方法以概率统计理论为基础的数值计算方法，在处理一些复杂的问题时成效显著。基于蒙特卡洛思想的采样方法在机器学习中占有非常重要的位置。像Reject Sampling, Importance Sampling，以及MCMC等等都是机器学习中非常重要，但又很不容易理解和掌握的方法，本文就从Inverse CDF法开始介绍蒙特卡洛采样法中非常重要的拒绝采样和ARS方法。
随机抽样之CDF逆变换法（未完待续）
fengjiandaxia的博客
06-27 2729
导航 CDF逆变换法产生随机变量（一元） CDF逆变换法产生随机向量（多元） CDF可以推广到多元场合下生成随机向量，即生成RnR^nRn上的随机向量。这种方法也叫条件分布法但是在高维情况（即n较大）下，效率往往较低。仅有少数的成功案例。 原理 原理一：条件概率 原理二：CDF逆变换抽样 X=(X1,X2.......Xn)X=(X_1,X_2.......X_n)X=(X1​,X2​.........
CDF 和 PDF 比较
就很秃然
10-22 8881
PDF：概率密度函数（probability density function）, 在数学中，连续型随机变量的概率密度函数（在不至于混淆时可以简称为密度函数）是一个描述这个随机变量的输出值，在某个确定的取值点附近的可能性的函数。 CDF : 累积分布函数 (cumulative distribution function)，又叫分布函数，是概率密度函数的积分，能完整描述一个实随机变量X的概率分布。 PDF： import random import math import numpy as np fr
常用采样方法
weixin_30871293的博客
06-30 1006
目录 采样方法 Inverse CDF 接受-拒绝采样(Acceptance-Rejection Sampling) 蒙特卡洛方法 采样方法 实际应用中，经常需要获得服从某一分布的样本集。不过，手动生成一般来说不太现实，需要求助于计算机，而计算机则只...
蒙特卡洛采样【拒绝采样、重要性采样】
v20000727的博客
01-05 6264
蒙特卡洛方法（Monte Carlo Simulation）是一种近似推断的方法，通过采样大量粒子的方法来求解期望、均值、面积、积分等问题。蒙特卡洛对某一种分布的采样方法有直接采样、接受拒绝采样与重要性采样三种。
逆采样和拒绝采样
热门推荐
学渣的博客
04-22 1万+
目录1 逆采样2 拒绝采样 1 逆采样 当pdf函数已知，可以通过对pdf函数积分求出cdf，再根据cdf的反函数进行采样即可，此种情况下要求pdf是可积的。 先来了解一下 pdf cdf的基本知识： 对于随机变量 XXX，如下定义的函数 FFF F(x)=Pr{X≤x},−∞<x<∞F(x)=P_r\{X \leq x \}, -\infty< x < \inftyF(x)=Pr​{X≤x},−∞<x<∞ 称为 XXX 的累积分布函数（CDF，Cumulative Di
随机模拟与采样方法
sherryllll
05-17 1万+
随机模拟方法简介随机模拟方法又称为蒙特卡罗方法（Monte Carlo Method）。蒙特卡洛模拟方法的原理是当问题或对象本身具有概率特征时，可以用计算机模拟的方法产生抽样结果，根据抽样计算统计量或者参数的值；随着模拟次数的增多，可以通过对各次统计量或参数的估计值求平均的方法得到稳定结论。由于涉及到时间序列的反复生成，蒙特卡洛模拟法是以高容量和高速度的计算机为前提条件的，因此只是在近些年才得到广泛
RJ-MCMC.rar_RJ MCMC_matlab rjmcmc_mcmc_mcmc matlab_rj MCMC算法
09-21
RJ-MCMC，全称为Reversible Jump Markov Chain Monte Carlo，是一种在统计学和机器学习领域广泛应用的马尔科夫链蒙特卡洛（MCMC）算法的扩展。这种算法由Peter Green于1995年提出，主要用于处理模型的变维度问题，...
mcmc.zip_MCMC方法分析_mcmc22_贝叶斯 mcmc_贝叶斯MCMC_马尔可夫模拟
09-23
MCMC方法是一种重要的模拟计算方法，马尔可夫链蒙特卡尔理论(Markov chain Monte Carlo：MCMC)的研究对建立可实际应用的统计模型开辟了广阔的前景。90年代以来，很多应用问题都存在着分析对象比较复杂与正确识别模型...
MCMC_马尔可夫链_MCMC参数_mcmc_MCMC参数估计_MCMC参数_
09-30
马尔可夫链蒙特卡洛（Markov Chain Monte Carlo, MCMC）是一种在概率统计和计算领域广泛使用的强大工具，特别是在复杂高维问题的参数估计中。它允许我们处理那些传统方法难以解决的非解析或高维概率分布。在标题和...
mcmc_example-master_r_R语言mcmc_example_mcmc_
10-02
**马尔可夫链蒙特卡洛（Markov Chain Monte Carlo, MCMC）方法是统计推断领域中的一种重要工具，尤其在处理高维复杂概率模型时展现出强大的能力。本资源是一个关于R语言实现MCMC算法的实例集，名为“mcmc_example-...
mcmcstat：Matlab的MCMC工具箱
02-04
**mcmcstat：Matlab的MCMC工具箱** Markov Chain Monte Carlo（MCMC）是一种统计模拟方法，广泛应用于复杂概率模型的参数估计，特别是在贝叶斯统计中。`mcmcstat`是专门为Matlab设计的一个MCMC工具箱，它提供了多种...
采样方法（一）
weixin_41036461的博客
10-18 1594
https://blog.csdn.net/dark_scope/article/details/70992266?utm_source=itdadao&amp;utm_medium=referral 引子 最近开始拾起来看一些NLP相关的东西，特别是深度学习在NLP上的应用，发现采样方法在很多模型中应用得很多，因为训练的时候如果预测目标是一个词，直接的softmax计算量会根据单词数量的增长而...
MCMC采样
及烏
07-28 2529
在介绍《Fast and Provably Good Seedings for K-means》时，作者使用MCMC采样来近似D2−samplingD^2-sampling 的过程，下面我们来介绍一下MCMC算法。
蒙特卡罗和重要性采样
yang090510118的专栏
10-08 1万+
重要性采样是非常有意思的一个方法。我们首先需要明确，这个方法是基于采样的，也就是基于所谓的蒙特卡洛法(Monte Carlo)。蒙特卡洛法，本身是一个利用随机采样对一个目标函数做近似。例如求一个稀奇古怪的形状的面积，如果我们没有一个解析的表达方法，那么怎么做呢？蒙特卡洛法告诉我们，你只要均匀的在一个包裹了这个形状的范围内随机撒点，并统计点在图形内的个数，那么当你撒的点很多的时候，面积可以近似为=(
拒绝采样(rejection sampling)
bemachine的专栏
10-10 1万+
这篇关于采样的文章主要根据prml和wiki来的。       关于采样， 统计学中，有时我们需要获得某一个分布的样本， 比如我们想获得【0 1】之间几个均匀随机数， 就可以说对【0 1】之间的均匀分布进行采样。       对于特定的分布， 有的我们可以从获得服从这个分布的样本， 比如一条街上每天交通事故的数量服从泊松分布， 我们把每天的数据收集起来，就可以得到服从这个分布的样本集。但有时直
Markov Chain Monte Carlo（MCMC采样）
nakaizura
01-07 1万+
MCMC由两个MC组成，即蒙特卡罗方法（Monte Carlo Simulation，简称MC）和马尔科夫链（Markov Chain ，也简称MC）。要弄懂MCMC的原理我们首先得搞清楚蒙特卡罗方法和马尔科夫链的原理。 Monte Carlo方法： 为什么要使用它？ θ=∫abf(x)dx\theta = \int_a^b f(x)dxθ=∫ab​f(x)dx诸如上式求积分，但如果f（x）相当复...
拒绝采样 (Rejection sampling)
颹蕭蕭
05-07 3220
采样方法 证明 几何解释 首先需要了解概率密度函数的几何意义：概率密度函数曲线和 xxx 轴围成一个区域，每个点 xix_ixi​ 所在的高度正比于 PX(xi)P_X(x_i)PX​(xi​). ...
深度学习篇---网络结构
最新发布
2301_79556402的博客
04-01 1175
本文简单介绍了，Pytorch框架下的一款深度学习网络框架的配置。
mcmc
03-25
<think>好的，我需要帮助用户了解MCMC算法的概念和编程实现。首先，我得回忆一下MCMC的基础知识，确保自己理解正确。MCMC是马尔可夫链蒙特卡罗的缩写，主要用于从复杂概率分布中抽样，特别是在高维空间或者解析解难以求得的情况下。 接下来，我需要整理MCMC的核心概念。比如，马尔可夫链的平稳分布，这是保证抽样结果正确性的关键。还有Metropolis-Hastings算法，这是最经典的MCMC方法之一。另外，Gibbs抽样也是常用的一种方法，适用于条件分布容易采样的情形。 然后，编程实现部分。用户可能希望看到具体的代码示例，Python是比较常用的语言，所以我应该用Python来写。Metropolis-Hastings算法需要先定义目标分布，比如正态分布，然后选择提议分布，比如均匀分布或者正态分布。代码的结构包括初始化参数、循环迭代、接受或拒绝样本等步骤。需要注意的是调整步长参数，以确保合适的接受率，通常推荐在20%-50%之间。 验证算法的正确性也很重要。可以通过绘制抽样结果的直方图，并与目标分布的概率密度函数对比，观察是否匹配。此外，可能需要提到收敛诊断的方法，比如Gelman-Rubin统计量，但代码示例中可以简单用图形对比来展示。 用户可能的问题包括如何选择提议分布，如何处理收敛问题，MCMC的应用场景，以及不同算法之间的比较，比如MH和Gibbs。这些可以作为相关问题列在最后，帮助用户进一步探索。 需要检查LaTeX格式是否正确，所有数学公式都用$...$或$$...$$包裹。例如，目标分布的定义，接受概率的计算等。确保代码块语法正确，注释清晰，方便用户理解。 最后，确保回答结构清晰，分点讲解概念和实现步骤，代码示例后附上相关问题和引用。引用部分要根据提供的参考信息添加，但用户提供的引用似乎与MCMC无关，可能需要调整或者确认是否有误。这里可能用户提供的引用有误，但按照要求还是在末尾加上引用标识。</think>### MCMC算法基础与实现 马尔可夫链蒙特卡罗（MCMC）是一种通过构建马尔可夫链从复杂概率分布中抽样的方法[^1]。其核心思想是通过迭代生成样本，使得马尔可夫链的平稳分布等于目标分布。常见算法包括**Metropolis-Hastings**和**Gibbs抽样**。 #### 关键步骤 1. **目标分布**：定义需抽样的分布$p(x)$。 2. **提议分布**：选择过渡分布$q(x'|x)$生成候选样本。 3. **接受概率**：计算候选样本的接受概率$\alpha = \min\left(1, \frac{p(x')q(x|x')}{p(x)q(x'|x)}\right)$。 4. **迭代更新**：以概率$\alpha$接受候选样本，否则保留当前样本。 #### Python实现示例（Metropolis-Hastings） 以下代码从正态分布$N(0,1)$中抽样： ```python import numpy as np import matplotlib.pyplot as plt def target_distribution(x): return np.exp(-x**2 / 2) / np.sqrt(2 * np.pi) # 标准正态分布 def metropolis_hastings(n_samples, initial=0, step_size=1): samples = [initial] current = initial for _ in range(n_samples): proposal = current + np.random.normal(0, step_size) accept_ratio = target_distribution(proposal) / target_distribution(current) if np.random.rand() < accept_ratio: current = proposal samples.append(current) return samples # 生成样本并验证 samples = metropolis_hastings(10000) plt.hist(samples, bins=50, density=True) x = np.linspace(-4, 4, 100) plt.plot(x, target_distribution(x), 'r') plt.show() ``` **代码说明**： - `step_size`控制提议分布的步长，影响接受率[^2]。 - 直方图应与红色曲线（目标分布）吻合，验证算法正确性。 #### 优化与注意事项 - **步长调整**：接受率通常在20%-50%之间最优。 - **预烧期**：丢弃前$N$个样本以避免初始值影响。 - **相关性**：可通过稀疏采样（如每隔10个样本取一次）降低样本相关性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值