蓄水池抽样

1. 问题描述

给定一个长度很长的数据流，在处理完成之前不知道其具体长度，如何在遍历一遍数据流的情况下，随机地抽出m个不重复的数据。

key words：

1. 长度很长，遍历完之前不可知；
2. O(N)复杂度；
3. 等概率地抽出m个数，每个数被抽中的概率为m/N。

2. 蓄水池抽样算法步骤

1. 如果接收的数据量小于m，直接放入蓄水池reservoir
2. 如果接收的数量大于m，假设是第i个数据，i>=m，则在[1,i]中随机选择一个数，假设为x，如果x<m，则将蓄水池reservoir[x]=datastream[i]
3. 重复步骤2直到读取完数据流

vector<int> reservoir(m);//蓄水池中的m个元素
for(int i = 0; i < m; i++){
	reservoir[i] = datastream[i];
}
for(int i = m; i < datastream.size(); i++) {//这里不严谨，应该用指针或者输入流来控制循环条件
	srand(time(NULL));
	int j = randint(0, i);
	if (j < m)
		reservoir[j] = datastream[i];
}

3. 算法证明

如何保证每个数被抽到的概率为$\frac{m}{N}$。
第i个接收到的数据最后能够留在蓄水池中的概率=第i个数据进入过蓄水池的概率*之后第i个数据不被替换的概率（第i+1到第N次处理数据都不会被替换）。

1. if(i <= m)，第i个数据肯定可以进入过蓄水池，概率为1，我们还需要求出，第i个数后续一直不会被替换的概率；
2. if(i <= m)，第i个数据后续不被替换的概率怎么求？
   我们先求第i个数据被替换的概率。
   从第$m+1$个数开始，第i个数就有可能被替换啦，从$m+1$个数中抽一个数，抽到的数小于等于$m$的概率为$\frac{m}{m+1}$ ，$m$个数中抽到的恰好是$i$的概率为$\frac{1}{m}$ ，所以第$i$个数被替换的概率为$\frac{m}{m+1}\ast \frac{1}{m}=\frac{1}{m+1}$.
   那么第$i$个数不被替换的概率为$1-\frac{1}{m+1}=\frac{m}{m+1}$。
   对于第$m+2$个数，第$i$个数不被替换的概率为$\frac{m+1}{m+2}$。
   以此类推，从第$m+1$一直到第$N$个数，第$i$个数一直不会被替换的概率为：$\frac{m}{m+1}\ast \frac{m+1}{m+2}\ast ...\ast \frac{N-1}{N}=\frac{m}{N}$。
3. 综合1）2），当$i<=m$时，第i个数据进入过蓄水池的概率*之后第i个数据不被替换的概率 = $1\ast \frac{m}{N}=\frac{m}{N}$。
4. if(i>m)，第i个数进入蓄水池的概率为$\frac{m}{i}$，从第$i+1$个数开始，第i个数可能被替换出蓄水池，根据前面的结果，从第i+1一直到第N个数都不会替换第i个数的概率为：$\frac{i}{i+1}\ast \frac{i+1}{i+2}\ast ...\ast \frac{N-1}{N}=\frac{i}{N}$。
   于是第i个数留在蓄水池中的概率为$\frac{m}{i}\ast \frac{i}{N}=\frac{m}{N}$。

综上：蓄水池算法可以保证每个数被抽到的概率为$\frac{m}{N}$。