Bootstrap Sample (有放回抽样)

问题描述

一个盒子里有100个小球（编号1到100），每次从盒子里随机挑选一个小球，记录该球的编号并将小球放回。重复抽样步骤100次，问抽样得到的不重复小球的个数是多少？

问题分析

首先，问题的答案应该是一个概率意义上的值。

考虑一个特定的小球A，每次抽样A被抽到的概率为1/100，A没有被抽到的概率为1 － 1/100，则经过100次抽样，A没有被抽到的概率 P ＝(1 － 1/100) ^ 100

当样本个数不是100，而是非常大的数的时候（比如为x，x非常大），A没有被抽到的概率 P＝(1 - 1/x) ^ x。这个式子和我们熟知的一个公式非常像：(1 + 1/x) ^ x ＝ e （x取正无穷）。

设 P ＝ (1 - 1 / x) ^ x，则 1/P = ( (1 + 1/(x-1) ) ^ (x -1) ) * ( 1 + 1/(x -1))，即 P＝1/e ＝ 0.368，解释为在每一次抽样中，每一个小球不被抽到大概率为0.368，经过100次抽样，约有100 ＊ (1 - P) = 63个不重复大小球会被抽到。

问题应用

1. Bagging (Bootstrap  Aggregating)，第一步采样就是使用Bootstrap Sample （Bagging是对训练样本采样）

2. Random Forest，结合了Bagging和Feature Selection方法，当然也使用林Bootstrap Sample方法 （不仅仅对训练样本采样，还对Feature采样）