贝叶斯统计学习笔记|Bayesian Statistics|Metropolis-Hastings与Gibbs Sampling

贝叶斯统计学习笔记|Bayesian Statistics|Metropolis-Hastings与Gibbs Sampling

（一） Metropolis-Hastings(MH)

现要从目标分布$p(\theta )\propto g(\theta )$中抽样，MH算法的思想是：构建一个马氏链，其平稳分布就是目标分布。在构建时，我们首先随机选取一个初始值，从另一个更容易抽样的分布中将抽取出的样本作为候选，进行接受或拒绝操作，所得的马氏链收敛于目标分布，如此也就得到了后验分布的样本（posterior samples)。

MH算法的过程如下：

1. 选取初始值${\theta }_0$
2. 对$i=1,...,m$，重复如下操作：
   （1）从proposal distribution $q({\theta }^{\ast }|{\theta }_{i-1})$中抽取一个候选样本${\theta }^{\ast }$
   （2）计算接受率$\alpha$：
   $$\alpha =\frac{g({\theta }^{\ast })/q({\theta }^{\ast }|{\theta }_{i-1})}{g({\theta }_{i-1})/q({\theta }_{i-1}|{\theta }^{\ast })}$$
   （3）接受或拒绝候选样本（规则如下）：
   \quad 若$\alpha \ge 1$，则令${\theta }_i={\theta }^{\ast }$（即接受候选样本）；
   \quad 若$\alpha <1$，则
   \qquad ${\theta }_i={\theta }^{\ast }$ with prob $\alpha$
   \qquad ${\theta }_i={\theta }_{i-1}$ with prob $1-\alpha$

上述过程中的proposal distribution是人为选择、更方便抽样的分布，由于分布q不同于目标分布p，因此MH算法中的接受/拒绝操作可以看做是对分布q的一种修正。对于马氏链的每一步，我们或者拒绝、或者接受候选样本，其规则取决于接受率$\alpha$的大小。如果我们跳过这种筛选机制，每一步都接受候选样本，那么显而易见，所得到的最终结果并非是对目标分布p而是分布q的蒙特卡洛模拟。

例子：已知一枚不均匀的硬币出现正面概率为0.7。现掷另一枚未知均匀的硬币共5次，2次正面，3次反面。求硬币不均匀的概率$P(loaded|X=2)$？

方法一：贝叶斯公式
θ = { f a i r