问题:给定一个长度很大甚至无法全部写入内存的数据流,需要保证从数据流中随机选择一个数据的概率均等。
可以得到结论当数据流的长度N未知时,每次抽取量K=1,那么每个数据被抽取到的概率为P=1/N,
而如果k > 1时,即要从数据流N中取K个样本值,那么要保证每条数据被抽取到的概率相等。
首先将数据流的前K个数据,全部保留,作为样本集合。对于第i (i > k)个数据,则以k/i 的概率抽取第i个数数据,并以1/k 的概率与前面已经选择的k个数据中的任意一个替换
问题:给定一个长度很大甚至无法全部写入内存的数据流,需要保证从数据流中随机选择一个数据的概率均等。
可以得到结论当数据流的长度N未知时,每次抽取量K=1,那么每个数据被抽取到的概率为P=1/N,
而如果k > 1时,即要从数据流N中取K个样本值,那么要保证每条数据被抽取到的概率相等。
首先将数据流的前K个数据,全部保留,作为样本集合。对于第i (i > k)个数据,则以k/i 的概率抽取第i个数数据,并以1/k 的概率与前面已经选择的k个数据中的任意一个替换