spark抽样之蓄水池抽样

spark随机森林的实现中用到了蓄水池抽样，主要是用在特征集抽样中，本文对蓄水池抽样的原理和spark源码进行简单分析。
1. 蓄水池抽样
形象的说，所谓蓄水池抽样就像是在向池中加水的过程中进行抽样，类比于对数据流进行抽样。前提是我们知道要抽取的样本量，但是很难知道样本空间的规模，比如流式数据，或者样本空间较大，遍历一遍代价较高，因此无法计算其抽取概率或比例，不能用常规的方法抽取数据。蓄水池抽样能在o(n)的复杂度对数据进行等概率抽样，其伪代码描述如下

sample size: k
for i = 0 to N
    if i < k
        choose ith value
    else
        M = random(0,i)
        if M < k
            swap Mth value and ith value