python按指定概率抽样_概率加权的随机抽样 (Weighted Random Sampling)

本文介绍了概率加权的随机抽样问题，特别是无放回的情况，提出了A-Res蓄水池算法。该算法允许在不知道样本权重总和的情况下，仅遍历一次样本集合即可得到按权重抽样的结果，空间复杂度为O(m)。文章详细阐述了A-Res算法的工作原理，并给出了其Python实现。

摘要由CSDN通过智能技术生成

概率加权的随机抽样 (Weighted Random Sampling) – A-Res 蓄水池算法

2017-11-20 18:51:10

旧日重来

最近，Aulddays 遇到一个随机抽样任务。有一个对象集合，由于整个集合非常大，希望考虑每个对象的热门程度抽样出一部分对象来进行分析。把这个任务抽象出来，其实就对应了一个带概率加权的随机抽样 (Weighted Random Sampling) 问题。对应到不同的应用场景，可以对应解决搜索query抽样、商品抽样、网页抽样等任务。对于不加权的普通随机抽样，其实并不难解决，在样本集合非常大的情况下，还可以使用经典的蓄水池算法 (Reservoir Sampling) 来高效实现的抽样。但对于带概率加权的情况，就不太容易了，特别的，在 Aulddays 的任务中，结果集合中每个对象只有1次，对应了无放回的情况，则更困难一些。在内存足够的情况下，似乎还能想到接近于 O(mlogn) 的思路，但大数据上就没什么好的思路了。Survey 了一番之后，发现这个问题其实已经被研究了很久，但直到 2006 年才得到较好的解决：Pavlos S. Efraimidis and Paul G. Spirakis, 2006, Weighted random sampling with a reservoir。这里介绍一下他们提出的 A-Res 算法。

问题定义

(简单)随机抽样

给定 n 个样本(样本集合)，从中随机抽出 m 个样本(抽样集合)，样本集合中每个样本出现在抽样集合的概率相等(=m/n)。

加权随机抽样

样本集合中每个样本附加一个权重 wi >0，每个样本被抽中的概率由 wi 确定。wi 有两种指

python按指定概率抽样_概率加权的随机抽样 (Weighted Random Sampling) – A-Res 蓄水池算法...