65、模拟与马尔可夫链蒙特卡罗方法

模拟与马尔可夫链蒙特卡罗方法

1. 马尔可夫链蒙特卡罗方法基础

在马尔可夫链蒙特卡罗（MCMC）方法中，Metropolis 采样器和 Gibbs 采样器是两种重要的工具。我们先来看 Metropolis 采样器的一些性质。

1.1 Metropolis 采样器的遍历性

对于某个例子，通过分析可知，满足一定条件时，Metropolis 采样器具有几何遍历性，但不具有一致遍历性。例如，当满足
[
\frac{\log \alpha(x) - \log \alpha(y)}{|x - y|}= 1
]
时，我们可以在尾部对数凹性性质中选择 $\beta = 1$。同时，$q$ 满足肥尾条件 $q(x) \leq Ke^{-|x|}$ 对所有 $x$ 成立（注意 $q$ 在 $[-b, b]$ 之外为 0）。根据相关定理的 (b) 部分，该例子中的 Metropolis 采样器是几何遍历的。

1.2 提议密度与目标密度的关系

在独立 Metropolis 采样器中，提议密度的尾部性质对采样效果有重要影响。假设目标密度是标准指数分布，提议密度是均值为 $\lambda$ 的指数分布。对于 $y > 0$，有
[
\frac{\alpha(y)}{p(y)} = \frac{e^{-y}}{\frac{1}{\lambda}e^{-y/\lambda}} = \lambda e^{\frac{1 - \lambda}{\lambda}y}
]
当 $\lambda \geq 1$ 时，上式被一个有限常数 $c$ 一致有界，根据定理 19.12 的 (a) 部