【有啥问啥】深入浅出马尔可夫链蒙特卡罗（Markov Chain Monte Carlo, MCMC）算法

深入浅出马尔可夫链蒙特卡罗（Markov Chain Monte Carlo, MCMC）算法

0. 引言

Markov Chain Monte Carlo（MCMC）是一类用于从复杂分布中采样的强大算法，特别是在难以直接计算分布的情况下。它广泛应用于统计学、机器学习、物理学等领域，尤其是在贝叶斯推理和概率模型中。本文将深入解析 MCMC 的基本原理、核心算法（如 Metropolis-Hastings 和 Gibbs 采样），并讨论其在实际应用中的优势与局限，同时介绍一些先进的变种如 Hamiltonian Monte Carlo（HMC）。

1. 背景知识

在贝叶斯推断和许多概率模型中，目标是从某个复杂的后验分布 $p(\theta |x)$ 中获取样本。然而，在大多数情况下，这种分布很难直接采样，因为其可能涉及到难以求解的归一化常数。

MCMC 提供了一种间接方法，通过构建一个马尔可夫链，使其逐步收敛到目标分布。然后，通过在平衡态（或稳态）下从马尔可夫链中提取样本，我们可以得到接近于目标分布的样本。

2. 马尔可夫链的基础

马尔可夫性质：马尔可夫链是一种具有“无记忆”性质的随机过程，当前状态的下一个状态只依赖于当前状态，而不依赖于历史状态。数学上，设 $X_1,X_2,\dots$ 是马尔可夫链中的状态序列，满足：
$$P(X_{n+1}|X_1,X_2,\dots ,X_n)=P(X_{n+1}|X_n)$$

转移矩阵：马尔可夫链通过转移概率矩阵（或转移核）定义，设 $P_{ij}$ 表示从状态 $i$ 转移到状态 $j$ 的概率，则有：
$$P_{ij}=P(X_{n+1}$$