Bootstrapping 算法简介

Booststrapping 算法帮助我们找到让我们表达信心的值。比如，”我们有98%的概率确定总体的均值在3.1和4.5之间“。这意味着我们知道区间的上界（3.1）和下届（4.5），并且我们对该值存在于该区间内信心的大小98%

Bootstrapping包括两个基本步骤：1）根据原始的总体创建一个样本集；2）对样本集进行重采样（resampling）以生成一些新数据集，而这些新数据集中的每一个都称为bootstrap

为了创建bootstrap，我们先要确定需要从初始样本集中选择多少元素。尽管我们通常使用较少的元素，但是理论上可以选择小于样本数据集的任意数量的元素。然后我们会从样本集中有放回地随机抽取多个元素，这意味着我们可能会多次选择相同的元素。

抽取必须是要放回的，因为我们想要构建与样本集大小相同的bootstrap

假设我们有总体1000个整数，其均值为500.我们从这个数据集中随机抽取500个值来创建一个样本集，然后又创建100个bootstrap，每个bootstrap包含20个元素。假设样本集均值490，bootstrap帮助我们确定：我们应该在多大程度上信任490这个值

如下图，我们可以绘制直方图，横坐标为bootstrap平均值，纵坐标为bootstrap数量。Bootstrap均值近似于高斯曲线。假设我们想要找打有着80%的置信区间，就只需要去掉bootstrap均值最低的10%的和最高的10%的bootstrap的数量。