Gibbs Sampling简单总结

Gibbs Samping 是MCMC中最常用的方法，基本的原理就是通过随机模拟， 采集 期望数量的 目标分布的样本，这些样本构造了一条马尔可夫链，而由这些样本集，基本可以推断出目标分布的参数以及其它的想了解的 后验分布。但通常 如何采集 样本成为关键，应用它的原因是目标分布的分布函数未知，但是  构成目标分布的 变量的 条件分布是知道的，那么就可以用随机模拟的思想，利用贝叶斯公式的特性，从条件概率依次对构成目标分布的每个变量进行采样，做跳转，每次只针对一个维度做迭代，当所有维度都跳转一次之后所的样本即可则看作是目标分布的一次跳转。

通常若按数学公式是可以直接求出联合概率的，但随着变量数量的增大，公式求解，变得异常复杂，遂通过采样的方式求得联合概率分布。

基本过程:

比如我们已知变量A，B，C，并知p(A|B,C),p(B|A,C),p(C|A，B)，

step1：给ABC随机赋值，即随机一个样本，如（A0，B0，C0），

step2：根据p（A|B0，C0）得A1，

step3：根据p（B|A1，C0）得B1，

step4：根据p（C|A1，B1）得C1，

现得样本（A1，B1，C1），

重复step1到step4，经过若干次迭代过程后，则结果基本趋于变量实际的分布，即可作为联合发布。

有新的发现继续补充！