蓄水池抽样算法

1、蓄水池抽样算法伪代码：

Init : a reservoir with the size： k  
for i= k+1 to N  
    M=random(1, i);  
    if( M < k)  
     SWAP the Mth value and ith value  
end for   

算法思路大致如下：

1. 如果接收的数据量小于m，则依次放入蓄水池。
2. 当接收到第i个数据时，i >= m，在[0, i]范围内取以随机数d，若d的落在[0, m-1]范围内，则用接收到的第i个数据替换蓄水池中的第d个数据。
3. 重复步骤2。

算法的精妙之处在于：当处理完所有的数据时，蓄水池中的每个数据都是以m/N的概率获得的。

2、证明过程

1. 对于已经存在于蓄水池中的数据，当蓄满数据后，对于第i个数据，i>m，其可能替代水池中第k个数据的概率为$1/i$，水池中第k个数据不被替代的概率为$(i-1)/i$。也就是说，当水池蓄满后，对于水池中的第k个数据，其被保留的概率为$$P(k)=\frac{m}{m+1}\ast \frac{m+1}{m+2}\ast ...\ast \frac{N-1}{N}=\frac{m}{N}$$
2. 当蓄水池满了之后，对于不在蓄水池中的数据i，该数据需要被替换到水池中，替换到水池中的概率为$P(i)=\frac{m}{i}$，对于从i+1开始的数据，其不选到第k个数据所在的值的概率为$P(i+1)=\frac{i}{i+1}$，以此类推，第N个数据没有选到第k个数据所在的值的概率为$P(N)=\frac{N-1}{N}$，于是可以得到，第i个数据最后保留在水池中的概率为$$P(i)=\frac{m}{i}\ast \frac{i}{i+1}\ast ...\ast \frac{N-1}{N}=\frac{m}{N}$$
3. 通过上面的推导就可以知道不管是最先放进蓄水池中的数据还是后面超过m的数据，其最后存在于水池中的概率都为$\frac{m}{N}$。

3、参考资料

1. https://www.jianshu.com/p/7a9ea6ece2af；
2. https://www.jianshu.com/p/a4ab07f5752e；