数据采样问题

实际应用中通过采样，对难以确定精确解的模型做近似推断。本质上，我们想要得到后验概率分布，然后计算期望。但往往计算期望时，积分操作比较困难。简单地说，就是在概率密度p(x)下求函数f(x)的期望。

                                                                                 

通过从分布p(x)中采样x，计算样本的均值     。样本的均值是总体均值的无偏估计。样本的方差为  。一般来说，数据的维度不影响参数的估计，我们不需要太多采样数据（几十个数据足矣）就能够对总体均值和方差做出较为精确的估计。但是问题是。采样出来的数据一般不是独立的，有效的样本数就远远小于采样的数目。如果f(x)在p(x)较大处值比较小，或者f（x）在p(x)较大处值比较大。那么，均值、方差估计就有可能由小概率的样本控制。

 

 

                                                            红色为 f(x)   黑色为p(x)

为了尽可能得到更加精确的估计，就要采集更多的样本点。