Langevin dynamic 和 Hamiltonian Monte Carlo

最新推荐文章于 2024-08-28 20:22:21 发布
最新推荐文章于 2024-08-28 20:22:21 发布
阅读量2k 收藏 9
点赞数
分类专栏： 贝叶斯 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37473939/article/details/108331856
版权
本文探讨了在Bayesian inference中，Langevin动态和Hamiltonian Monte Carlo作为高级抽样方法的角色。Langevin动态通过小实验展示了噪声尺度对分布的影响，而HMC通过Tianqi Chen的文章展示了如何结合连续化SDE和Langevin动态以优化采样效率。文章提出了连续化SDE中的噪声方差和离散化问题，并讨论了其合理性。
摘要由CSDN通过智能技术生成

开这个坑慢慢写吧…

Langevin dynamic 和 Hamiltonian Monte Carlo

众所周知，sampling在Bayeisan中十分重要。比较高级的方法之一就是基于随机微分方程的抽样，例如这里的Langevin和HMC(Hamiltonian Monte Carlo)。

Langevin dynamic

下面是一个目标分布是标准正态分布的Langevin算法的小实验。分别是运行长度为100000、长度为1000000、更改噪声尺度 得到的结果：

  • langevin的理论中，步长满足一定条件下，离散化导致的误差被加入的随机噪声掩盖，后期MH拒绝可能性yanhua会很低，几乎可忽略。
  • 此类算法要求的计算量很不小。在分布容易模拟的情况下千万不要用。
  • 增加噪声的尺度会直接影响最后的分布更加不集中。课件噪声在这个过程中起到很重要的作用。

Hamiltonian Monte Carlo

HMC领域一个重要的文章是Tianqi Chen大佬写的那篇Stochastic Gradient Hamiltonian Monte Carlo。

相比于引入摩擦这个概念，我觉得作者在离散化和SDE间的转换更有意思。固定了步长 ϵ \epsilon ϵ后，导致的误差本来是 O ( ϵ 2 ) O(\epsilon^2)

最低0.47元/天 解锁文章
阿贝尔氧化钙
关注
专栏目录
HMC——Hamiltonian Monte Carlo笔记
qq_43331366的博客
11-05 3258
文章目录前言简介哈密顿系统介绍及方程推导应用到采样案例具体分析采样的具体步骤SGHMC 前言 课上没听懂，看了一些博客再结合老师的课件之后对一些符号更加迷糊了，于是本强迫症决定重新整理以下整个理解的思路。肯定有错误或者不足之处。欢迎指出，后续改正。 简介 Hamiltonian Monte Carlo (HMC) 算法，这是一种基于哈密顿力学（Hamiltonian mechanics）的抽样算法，它的效率比一般的MH算法要更高。通俗说就是更快达到逼近真实分布的采样。 看图说话：(盗图) 黑点是从真实分布获
Bayesian Learning via Stochastic Gradient Langevin Dynamics
weixin_37958272的博客
03-23 3401
Bayesian Learning via Stochastic Gradient Langevin Dynamics 在本文中，我们提出了一个新的框架，用于从大规模数据集中学习，基于从small mini-batches中迭代学习。通过在标准的随机梯度优化算法中加入适量的噪声，我们表明，当我们anneal the stepsize，迭代将收敛到真实后验分布的样本。这种优化和贝叶斯后验抽样之间的无缝过渡提供了一个内在的保护，防止过度拟合。我们还提出了一种实用的后验统计蒙特卡罗估计方法，它可以监控 “抽样阈值
以Langevin Diffusion为例，探索如何将采样视为优化问题
最新发布
Paper weekly
08-28 149
©PaperWeekly 原创 ·作者 |Rui-Yang Zhang单位 |Lancaster University UK研究方向 |Computational Statistics采样（sampling）与优化（optimization）的联系是错综复杂的。近年来，Applied Mathematics、Computational Statistics、Machine Learning...
Langevin动力学
weixin_39699362的博客
06-17 470
Langevin动力学是一种数学模型，用于描述带有摩擦和随机扰动的粒子的运动。它是经典动力学与统计物理学的结合，尤其在研究布朗运动和其他由热涨落驱动的现象时非常重要。mdt2d2x​−γdtdx​ηtFxtmdt2d2x​γγdtdx​ηt⟨ηt)⟩0⟨ηtηt′)⟩Fxt物理上，Langevin动力学提供了一种描述处于热环境中的微观或纳米尺度粒子如何因热扰动而进行随机运动的方式。
朗之万动力学（Langevin dynamics）
Go_ahead_forever的博客
05-28 3192
朗之万动力学（Langevin dynamics）
【概率方法】朗之万动力学 Langevin Dynamics
x66ccff
12-10 4556
介绍朗之万采样的一些直觉
【基础知识】DDPM中的“Langevin动力学”的概念
页页读
03-06 2007
这句话描述的是与Langevin动力学相关的一个概念，在这里提到的是使用εθ作为数据密度的学习梯度。总的来说，这句话讲述的是在Langevin动力学的框架下，利用εθ作为一个经过学习的梯度，来模拟或采样数据分布，从而使得生成的样本更接近真实的数据分布。在机器学习和深度学习中，Langevin动力学可以用于训练生成模型，如生成对抗网络（GANs）和变分自编码器（VAEs），通过有效地从复杂的数据分布中采样，以生成新的数据点（如图片、文本等）。），这允许粒子跳出局部最小值，增加探索不同区域的可能性。
Hamiltonian Monte Carlo抽样算法的初步理解
xu_aml的博客
03-07 1063
Hamiltonian Monte Carlo抽样算法的初步理解接受拒绝采样算法MCMC回顾Hamiltonian dynamics拉格朗日方程从牛顿方程出发推导拉格朗日方程哈密顿方程哈密顿函数HMCHamiltonian dynamics的直观认识:哈密顿方程运动方程哈密顿动力学的性质可逆性Hamiltonian不变保持体积Symplecticness(辛)局部和总体误差MCMC from Hamiltonian dynamicsProbability and the Hamiltonian — cano
HMC算法详解：Langevin动态与广义混合Monte Carlo
"本书深入探讨了与HMC（Hamiltonian Monte Carlo）相关的算法，包括Langevin-Euler动力学和广义杂交蒙特卡罗方法。Langevin-Euler算法是一种离散化的随机过程，用于模拟目标分布，其更新步骤类似于牛顿定律的二阶...
贝叶斯神经网络：Bayprop By Backprop，MC Dropout，SGLD，本地重新参数化技巧，KF-Laplace，SG-HMC的Pytorch实现
02-05
我们对用 生成的玩具数据集和真实数据（六个）进行了均方差和异方差回归实验。 Notebooks / classification /（ModelName）_（ExperimentType）.ipynb ：包含在（ExperimentType）上使用（ModelName）进行的实验，...
Probabilistic Inference Using Markov Chain Monte Carlo Methods
07-25
4. **Hamiltonian Monte Carlo (HMC)**：结合了物理系统的动力学特性，通过模拟粒子运动的方式来改善采样效率。 #### 七、支持技术 除了基本的MCMC算法之外，还有一系列辅助技术可以用来提高采样的效率和效果： - ...
具有色噪声的广义Langevin方程描述吸积盘的随机振动
04-02
我们考虑了广义相对论吸积盘围绕紧凑天体物理物体与它们的外部介质相互作用的随机振动的描述，该过程基于带色噪声的广义朗文方程和涨落耗散定理。 前者解释了摩擦力的一般记忆和延迟作用。 内存效应的存在会影响磁盘对外部随机交互的响应，并且会修改磁盘的动态行为以及能量耗散过程。 对磁盘在垂直方向上的运动的广义Langevin方程进行了数值研究，并为Schwarzschild和Kerr情况明确获得了随机扰动磁盘的垂直位移，速度和光度。 还获得了光盘亮度的功率谱分布。 作为形式主义的一种可能的天体物理学应用，我们研究了活动星系核的日内变化可能是由于随机磁盘不稳定性引起的。 由有色/非平凡相关的噪声引起的扰动会引起复杂的磁盘动力学，这可以解释一些与磁盘可变性有关的天体观测特征。
Hamiltonian Monte Carlo模拟采样的Python实现
12-27
本程序用python实现了Hamiltonian Monte Carlo算法，完成了对双变量的正态分布的模拟，主要代码参考了theclevermachine.wordpress.com中的matlab代码，增加了Leap-Frog的实现
数值分析算法经典分析
04-22
数值分析算法经典分析,学习数值分析的好材料,
哈密尔顿蒙特卡洛（Hamiltonian Monte Carlo）
HappinessSourceL的博客
12-04 4595
哈密尔顿蒙特卡洛（Hamiltonian Monte Carlo） Metropolis-Hastings 采样方法的一个问题是它会展现出随机漫步式的行为，而随机漫步对参数空间的探索效率并不高——平均来说探索的距离与步数的平方根成正比（n−−√n，参考Random Walks in 1 dimension）。而简单的扩大步幅又会降低接受率。哈密尔顿蒙特卡洛（HMC）方法提供了一个新思路，即可以提高参数空间的探索效率，又能保持较高的接受率。 哈密尔顿动力学 介绍 HMC 采样方法之前需要先简单说一下哈.
HMC(Hamiltonian Monte Carlo抽样算法详细介绍)
热门推荐
qy20115549的博客
01-15 2万+
Hamiltonian Monte Carlo简介 Hamiltonian dynamics的物理含义 Simulating Hamiltonian dynamics the Leap Frog Method Example 1 Simulating Hamiltonian dynamics of an harmonic oscillator Hamiltonian dynamics and th
深度探索：机器学习中的Hamiltonian Monte Carlo(HMC)算法原理及其应用
qq_51320133的博客
04-20 1548
Hamiltonian Monte Carlo算法凭借其高效、精确的抽样性能，在贝叶斯推断、概率模型学习等领域展现出巨大潜力。尽管存在计算成本高、参数敏感等挑战，通过结合现代优化技术（如自适应时间步长选择、Riemannian HMC等）、高性能计算平台以及与其它算法（如变分推断）的融合，有望进一步提升HMC的实用性和扩展性。未来研究将继续探索HMC在大规模数据、复杂模型、新兴应用（如图神经网络、强化学习）中的应用，以及与深度学习框架的深度融合，推动HMC算法在机器学习和统计推断领域的发展。
Hamiltonian Monte Carlo算法理解
tkyjqh的专栏
12-27 9535
因为RBN，学习了一会儿MCMC，理解不太深，但在接触Bayesian GAN时碰到HMC又很晕，好在看了两篇博客，重新梳理了MCMC，对HMC有了点初步理解，整理如下。 两篇博客一篇是CSDN，一篇是WordPress上的。CSDN应该是翻译WordPress上的。 theclevermachine博客 https://theclevermachine.wordpress.c
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值