0.摘要
在本系列的最后一篇文章中,我们将抛开 MCMC 的主流也就是Gibbs采样,这里会讨论一种解决高度多模态采样问题的技术。
正如我们在 Gibbs采样的高斯混合示例中看到的那样,马尔可夫链在我们模拟的有限时间内很难克服低概率障碍。因此,这种卡住的马尔可夫链对分布的采样不太正确,因为它对某些模式进行了过采样,而对其他模式进行了欠采样。
克服这个问题的一个很酷的方法是,不仅要从感兴趣的分布中模拟,还要从它的更平坦的版本(“副本”)中模拟,这些副本可以更容易地跨越低概率区域。如果我们偶尔在这些较平坦的马尔可夫链和对感兴趣的分布进行采样的马尔可夫链之间交换状态,则后一条链最终将解开,因为来自较平坦分布的传入状态更有可能位于不同的模式中。 这是副本交换(RE)的主要思想,也称为“并行回火”(PT)或“大都会耦合马尔可夫链蒙特卡洛”。
1.副本
就像其他几种 MCMC 算法一样,RE