水库抽样算法

问题描述

输入:一组数据,大小未知

输出:这组数据的K个均匀抽取

要求:仅扫描一次

总体要求:从N个元素中随机的抽取k个元素,其中N无法确定,保证每个元素抽到的概率相同


解决方案

一些符号:k为要抽样的个数,N为总体个数位置,n为当前遍历的元素的位置。pool为k大小的数组,用来保存抽到的样本

n<=k,把当前值放入pool中,构成初步样本

n>k,生成一个随机数p,如果p<k/n,那么把pool中的任意一个数替换为第n个数。如果p>=k/n,继续保留前面的数。直到数据流结束,返回此k个数。但是为了保证计算机计算分数额准确性,一般是生成一个0到n的随机数,跟k相比,道理是一样的。

特殊情况:当k=1时,从n(n>=2)开始以1/n的概率决定是否保留替换原来pool中元素

证明—归纳法
假设:当第n个元素以k/n,前n-1个元素也被选中的概率也为k/n

证明:

1)当n<=k时,出现在pool中的每个元素概率都是相同的,都为1 
2)当n=k+1时,计算前k个元素在pool的概率 
  • a.前k个元素在pool中的元素概率都为1
  • b.由假设得,第k+1个元素被选中的概率为:k/(k+1),pool任意元素被替换的概率为(k/(k+1))(1/k)=1/(k+1),没被替换(即选中)的概率为1-1/(k+1)=k/(k+1).
    由a
    b=1*k/(k+1)=k/(k+1),前k个元素和k+1元素被选中的概率都为k/k+1。
3)当n>k+1时,计算前n-1个元素在pool的概率 
  • a.前n-1个元素在pool中被选择的的概率为k/(n-1)
  • b.由假设得,第n个元素被选中的概率为:k/n,pool任意元素被替换的概率为(k/n)(1/k)=1/n,没被替换(即选中)的概率为1-1/n=(n-1/)n。
    由a
    b=(k/(n-1))*((n-1)/n)=k/n,前k个元素和k+1元素被选中的概率都为k/n。

因为假设成立,所以到数据结束时,所有元素的抽到的概率都为k/N

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值