随机采样：Metropolis-Hastings 算法

Metropolis-Hastings 算法：一种高效的MCMC采样方法

在统计学和数据分析中，我们经常需要从复杂的概率分布中抽样。当这些分布的直接抽样变得困难时，蒙特卡罗方法尤其是马尔可夫链蒙特卡罗（MCMC）方法就显得尤为重要。Metropolis-Hastings（M-H）算法作为一种流行的MCMC算法，因其简单性和灵活性而被广泛应用于贝叶斯统计、物理学、机器学习等领域。本文将介绍M-H算法的基本原理和应用。

什么是M-H算法？

Metropolis-Hastings算法是一种用于生成马尔可夫链的随机算法，它能够从难以直接抽样的概率分布中生成样本。该算法由Nicholas Metropolis首次提出，并由W. K. Hastings进一步发展，因此得名。

M-H算法的基本思想

M-H算法的核心思想是通过构建一个马尔可夫链，使其平稳分布与目标分布相匹配。算法通过以下步骤实现：

M-H算法的关键要素

• 目标分布 ( p(x) )：我们希望抽样的复杂概率分布。
• 建议分布 ( q(x’ | x) )：用于生成候选状态的分布，其选择影响算法的效率。
• 接受比率 ( \alpha(x, x’) )：决定是否接受新状态的概率，确保细节平衡（detailed balance）。

M-H算法的挑战

• 建议分布的选择：一个好的建议分布可以加快收敛速度，但选择不当可能导致效率低下。
• 收敛诊断：确定算法何时收敛于目标分布是一个挑战，通常需要进行各种统计检验。
• 烧入期：算法开始时产生的样本可能不具有代表性，需要舍弃，称为烧入期。

参考

• [1] Metropolis, N., Rosenbluth, A. W., Rosenbluth, M. N., Teller, A. H., & Teller, E. (1953). Equation of state calculations by fast computing machines.
• [2] Hastings, W. K. (1970). Monte Carlo sampling methods using Markov chains and their applications. Biometrika, 57(1), 97-109.
• [3] Gelman, A., Carlin, J. B., Stern, H. S., Dunson, D. B., Vehtari, A., & Rubin, D. B. (2013). Bayesian Data Analysis. Chapman and Hall/CRC.
• 深度探索：机器学习中的Metropolis-Hastings原理及其应用