Booststrapping 算法帮助我们找到让我们表达信心的值。比如,”我们有98%的概率确定总体的均值在3.1和4.5之间“。这意味着我们知道区间的上界(3.1)和下届(4.5),并且我们对该值存在于该区间内信心的大小98%
Bootstrapping包括两个基本步骤:1)根据原始的总体创建一个样本集;2)对样本集进行重采样(resampling)以生成一些新数据集,而这些新数据集中的每一个都称为bootstrap
为了创建bootstrap,我们先要确定需要从初始样本集中选择多少元素。尽管我们通常使用较少的元素,但是理论上可以选择小于样本数据集的任意数量的元素。然后我们会从样本集中有放回地随机抽取多个元素,这意味着我们可能会多次选择相同的元素。
抽取必须是要放回的,因为我们想要构建与样本集大小相同的bootstrap
假设我们有总体1000个整数,其均值为500.我们从这个数据集中随机抽取500个值来创建一个样本集,然后又创建100个bootstrap,每个bootstrap包含20个元素。假设样本集均值490,bootstrap帮助我们确定:我们应该在多大程度上信任490这个值
如下图,我们可以绘制直方图,横坐标为bootstrap平均值,纵坐标为bootstrap数量。Bootstrap均值近似于高斯曲线。假设我们想要找打有着80%的置信区间,就只需要去掉bootstrap均值最低的10%的和最高的10%的bootstrap的数量。