给定一个数据流,其中包含无穷尽的搜索关键字(比如,人们在谷歌搜索时不断输入的关键字)。如何才能从这个无穷尽的流中随机的选取1000个关键字?
解决方案就是蓄水库抽样(reservoid sampling)。主要思想就是保持一个集合(这个集合中的每个数字出现),作为蓄水池,依次遍历所有数据的时候以一定概率替换这个蓄水池中的数字。
其伪代码如下:
Init : a reservoir with the size: k
for i= k+1 to N
M=random(1, i);
if( M < k)
SWAP the Mth value and ith value
end for
解释一下:程序的开始就是把前k个元素都放到水库中,然后对之后的第i个元素,以k/i的概率替换掉这个水库中的某一个元素。
定义长度为1000的数组。
对于数据流中的前1000个关键字,显然都要放到数组中。
对于数据流中的的第n(n>1000)个关键字,我们知道这个关键字被随机选中的概率为 1000/n。所以我们以 1000/n 的概率用这个关键字去替换数组中的随机一个。这样就可以保证所有关键字都以 1000/n的概率被选中。
对于后面的关键字都进行这样的处理,这样我们就可以保证数组中总是保存着1000个随机关键字。
另外一种分析(与第一个算法相同):
随机取样问题可以分为:
1、 确定数目元素的随机取样,可以表述为:从N个元素中获得K个相异且随机的元素。
2、 不确定数目元素的随机取样,可以表述为:从一个数据流中获得k个相异且随机的元素。
其实第二个问题包含着第一个问题,我们只要探讨第二个问题即可,我直接给出下面的算法吧,首先要注意取样问题的描述:“k个”“相异”“随机”,代码如下:
T* random_sample(stream s,intk)
{
T* rand_list=newT[k];
inti=k;
s.open();
/*store first k elements in stream*/
while(k-->=0)
rand_list[i]=s.next();
i=k;
while(!s.end())
{
i++;
intidx=rand(0, i-1);//create random number [0, i-1]
if(idx<=k-1)//[0,k-1]
rand_list[idx]=s.next();
}
}
下面对其正确性进行证明,正确性应该保证“k个”“相异”“随机”,前两个条件显然成立,开始状态前两个状态就成立,函数执行过程中,每次替换的元素都不相同(我们认为在stream中不同位置的元素不同),对于“随机”的证明可以使用数学归纳法进行:
待证明问题,对于任意n>=k,经过上述方法后,得到的结果中任何一个元素出现的概率均为k/n。
1、当n=k时,rand_list[]中存储前k个元素,p=k/n=k/k=1成立。
2、假设当n=i时,命题成立:i个元素出现在rand_list[]中的概率为k/i。
当n=i+1时,执行上述算法,我们只关注最后一步:对于第i+1个元素的操作。
对第i+1个元素执行上述算法之前,对于前i个元素中任意一个元素,它们在rand_list[]中出现的概率为k/i,我们以k/(i+1)的概率去替换rand_list[]中的元素,前i个元素中任意一个元素被替换的概率为:
k(1/i)* ( 1/(i+1))
前i个元素中任意一个元素最终被取到的概率:
k/i - k(1/i)* ( 1/(i+1)) = k/(i+1)
对于第i+1个元素,它被取到的概率可以直接计算得到:
P(i+1)=k/(i+1)
所以当n=i+1时,上述命题也成立。
下面给两个相关的题目:
1、给定一个未知长度的整数流,如何随机选取一个数
2、给定一个数据流,其中包含无穷尽的搜索关键字(比如,人们在谷歌搜索时不断输入的关键字)。如何才能从这个无穷尽的流中随机的选取1000个关键字?