MCMC系列之三（哈密顿蒙特卡洛）

0.摘要

到目前为止，我们讨论了两种 MCMC 算法：Metropolis-Hastings 算法和 Gibbs 采样器。 这两种算法都可以生成高度相关的样本——Metropolis-Hastings 具有明显的随机游走行为，而当变量高度相关时，Gibbs 采样器很容易被困住。 在这篇博文中，我们将利用有关分布的额外信息（其形状）并了解哈密顿蒙特卡洛算法，这是一种源于量子物理学的算法。

1.物理直觉

如上所述，当使用朴素的提议分布进行 Metropolis-Hastings 抽样时，我们实际上是在执行随机游走，而没有考虑我们可能拥有的有关我们想要从中抽样的分布的任何其他信息。但实际上我们可以做得更好！
如果我们要从中采样的密度函数是可微分的，我们可以通过其导数访问其局部形状。 这个导数告诉我们，在每一点上x，密度值如何p（x)增加或减少取决于我们如何更改x. 这意味着我们应该能够使用p（x)提出高概率状态——这正是哈密顿蒙特卡洛 （HMC） 的关键思想。