【概率论】蓄水池算法（等概率抽取）

//stream代表数据流
//reservoir代表返回长度为k的池塘
 
//从stream中取前k个放入reservoir；
for ( int i = 1; i < k; i++)
    reservoir[i] = stream[i];
for (i = k; stream != null; i++) {
    p = random(0, i);
    if (p < k) reservoir[p] = stream[i];
return reservoir;

先选中第1到k个元素，作为被选中的元素。然后依次对第k+1至第N个元素做如下操作：每个元素都有k/x的概率被选中，然后等概率的（1/k）替换掉被选中的元素。其中x是元素的序号。

规定N无法确定 ，这就意味着，无论N或大或小，这N个元素都要被等概率的抽取出来。那么，可以这么考虑，N是一个动态增加的数字，例如：先让你从100个元素中等概率抽取出10个元素。后来又向集合中添加了20个元素，变成了120个元素等概率抽取10个，怎么样才能随着N的动态改变而让N无论等于多少时这N个元素都等概率被抽取呢？

其实很简单，再看一眼上面的算法，第x个元素被选中的概率为k/x，这个可以等价为有x个元素，等概率抽取k个元素，每个元素被抽中的概率。也就是说，每当元素数量增加1的时候，就要对所有元素等概率抽取一次，这样当然能保证目前元素数量下是等概率抽取，这也是元素数量增加后，下次概率计算的先决条件。

解法：

1. 归纳法

在取第n个数据的时候，我们生成一个0到1的随机数p，如果p小于k/n，替换池中任意一个为第n个数。大于k/n，继续保留前面的数。直到数据流结束，返回此k个数。但是为了保证计算机计算分数额准确性，一般是生成一个0到n的随机数，跟k相比，道理是一样的。

（1）初始情况k<=n，出现在水库中的k个元素的出现概率都是一致的，都是1
（2）第一步。第一步就是指，处理第k+1个元素的情况。分两种情况：元素全部都没有被替换；其中某个元素被第k+1个元素替换掉。我们先看情况2：第k+1个元素被选中的概率是k/(k+1)（根据公式k/i），所以这个新元素在水库中出现的概率就一定是k/(k+1)（不管它替换掉哪个元素，反正肯定它是以这个概率出现在水库中）。下面来看水库中剩余的元素出现的概率，也就是1-P(这个元素被替换掉的概率)。水库中任意一个元素被替换掉的概率是：(k/k+1)*(1/k)=1/(k+1)，意即首先要第k+1个元素被选中，然后自己在集合的k个元素中被选中。那它出现的概率就是1-1/(k+1)=k/(k+1)。可以看出来，旧元素和新元素出现的概率是相等的。情况1：当元素全部都没有替换掉的时候，每个元素的出现概率肯定是一样的，这很显然。但具体是多少呢？就是1-P(第k+1个元素被选中)=1-k/(k+1)=1/(k+1)。
（3）归纳法：重复上面的过程，只要证明第i步到第i+1步，所有元素出现的概率是相等的即可。

当只选择一个元素时：

当选择k个元素时：

 

参考：

有关蓄水池抽样（Reservoir Sampling）和自己的一些思考

蓄水池抽样——《编程珠玑》读书笔记