海量数据随机抽样问题（蓄水池问题）

参考这篇文章：

http://blog.csdn.net/hackbuteer1/article/details/7971328

《海量数据随机抽样问题（蓄水池问题）》

 

随机抽样问题表示如下：
要求从N个元素中随机的抽取k个元素，其中N无法确定。

 

解决方案：

程序的开始就是把前k个元素都放到水库中，然后对之后的第i个元素，以k/i的概率替换掉这个水库中的某一个元素。

 

下面来具体证明一下：每个水库中的元素出现概率都是相等的。

见原文。

 

看到一个问题：怎样随机从N个元素中选择一个元素，你依次遍历每个元素，但不知道N多大。

蓄水池

 

将问题扩展：给你一个长度为N的链表。N很大，但你不知道N有多大。你的任务是从这N个元素中随机取出k个元素。你只能遍历这个链表一次。你的算法必须保证取出的元素恰好有k个，且它们是完全随机的（出现概率均等）。

蓄水池

 

另外还有一种方法：给每个元素随机生成一个固定区间（如[0,1]）的权重。用一个大小为k的堆来选取权重较大的k个元素。仿照也可解决最开始的取1个的问题。