Gibbs 采样完整解析与理解

1.gibbs简析：

 gibbs采样需要知道样本中一个属性在其它所有属性下的条件概率，然后利用这个条件概率来分布产生各个属性的样本值。gibbs采样属于随机模拟抽样算法中的一种（一类近似求解的方法）。随机模拟的核心是对一个分布进行抽样，常用的抽样算法包括：1. 接受-拒绝抽样；2）重要性抽样；3）MCMC（马尔科夫链蒙特卡洛方法）方法，它包括两个非常著名的采样算法（metropolis-hasting算法和它的特例Gibbs采样算法）（补充：MCMC方法最早由Metropolis（1954）给出，后来Metropolis的算法由Hastings改进，合称为M-H算法。M-H算法是MCMC的基础方法。由M-H算法演化出了许多新的抽样方法，包括目前在MCMC中最常用的Gibbs抽样也可以看做M-H算法的一个特例）。

2.那么采样究竟是解决什么样的问题？

 采样就是通过将一个不太好解决的问题转化为一个可以通过采样来解决的问题，用什么方法来采样比较好，这是一个创新的问题，一般没有固定的解法。

3.常见的采样方法

3.1 直接采样（简单）

3.2 接受-拒绝抽样（Acceptance-Rejection sampling)下面内容来源

很多实际问题中，p(x)是很难直接采样的的，因此，我们需要求助其他的手段来采样。既然 p(x) 太复杂在程序中没法直接采样，那么我设定一个程序可抽样的分布 q(x) 比如高斯分布，然后按照一定的方法拒绝某些样本，达到接近 p(x) 分布的目的，其中q(x)叫做 proposal distribution（建议分布） 。

</