几种采样方法

采样是指通过模拟的方式来采集符合某个分布 $p(x)$的一些样本，一般来说，要采集的分布比较复杂。

拒绝采样

拒绝采样，也叫接受-拒绝采样。顾名思义，在采样过程中，我们会接受一些样本，也会拒绝一些样本，使得样本最终的分布符合期望。

假设原始分布$p(x)$难以直接采样，我们先将$p(x)$归一化，得到$\hat{p}(x)$。然后引入一个比较容易采样的分布$q(x)$和一个常数$k$，使得$kq(x)$可以覆盖$\hat{p}(x)$，即$kq(x)>\hat{p}(x)$，$q(x)$为提议分布。

比如我们要采集一个分布 p ( x ) = 1 2 1 2 π σ exp ⁡ − ( x − 0.3 ) 2 2 σ 2 + 3 2 1 2 π σ exp ⁡ − − ( x − 0.8 ) 2 2 σ 2 p(x)=\frac{1}{2}\frac{1}{\sqrt{2\pi\sigma}}\exp{-\frac{(x-0.3)^2}{2\sigma^2}}+\frac{3}{2}\frac{1}{\sqrt{2\pi\sigma}}\exp{-\frac{-(x-0.8)^2}{2\sigma^2}} p(x)=21​2πσ ​1​exp−2σ2(x−0.3)