R语言: Gibbs抽样实验

这篇文章并非原创，只是对下面PPT的总结和理解，作为入门性文字说明。
[url]http://www.people.fas.harvard.edu/~plam/teaching/methods/mcmc/mcmc.pdf[/url]

MH算法：Metropolis Hasting Algorithm
Gibbs抽样：Gibbs Sampling

上述两个算法是两个典型的马尔科夫链蒙特卡洛方法（Markov Chain Mento Carlo Method），作为随机抽样方法，普遍用于多元随机变量的抽样。通俗的说，通过迭代方法从目标随机概率分布中抽取样本。

关于蒙特卡洛方法和马尔科夫链，以及大数法则和中心极限定理，这边的证明略去。PPT中有详细解释。

1. Gibbs 抽样
Gibbs抽样的本质就是从已知的联合概率分布p(θ1, θ2,....|Y)（后验分布）推导出满条件分布，然后从满条件分布中抽取样本——p(θj|θ-j, Y)
[b]这里有个问题：为什么可以从联合概率分布中求解满条件分布？[/b]
因为根据Hammersley-Clifford Theorem，任何联合概率可以由他的条件概率计算得来。
有了以上基本概念后，Gibbs抽样可以总结，先求取满条件分布，再对满条件分布抽烟。
[b]满条件分布求取：[/b]
a）先对后验分布进行整理，忽略相关的常数
b）分别对参数θ1,θ2,.......进行条件分布求解
c）正规化条件分布
[b]Gibbs Sampler：[/b] 假设有三个参数θ1,θ2,θ3，后验分布