水塘抽样 - Reservoir Sampling

最新推荐文章于 2022-04-26 10:52:35 发布
最新推荐文章于 2022-04-26 10:52:35 发布
阅读量883 收藏
点赞数
分类专栏： 算法 文章标签： 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/danteLiujie/article/details/51607147
版权
本文介绍了一种名为水库采样的算法，该算法适用于处理未知长度的流数据，并能在流结束时以等概率的方式返回N个数据样本。文章详细阐述了算法的具体实现过程，即如何从数据流中抽取前k项放入水库，并对后续每一项决定是否替换水库中的已有项。
摘要由CSDN通过智能技术生成

Reservoir Sampling( Reservoir sampling )

给一个Streaming的Data，未知长度，要求在Streaming结束后返回N个Data，且是等概率的

O(L)


假设数组S以0开始：

从S中抽取前k项放入「水塘」中
对于每一个S[j]项（j ≥ k）：
   随机产生一个范围从0到j的整数r
   若r<k则把水塘中的第r项换成S[j]项

danteliujie
关注
专栏目录
水塘抽样 Reservoir sampling
正西风落叶下长安
12-20 1562
水塘抽样 Reservoir sampling
什么是蓄水池抽样（Reservoir Sampling）算法？
Tech in Pieces
12-09 954
首先 我们要知道这种算法到底是干嘛的？ 它通常用于解决大数据流中的数据的随机抽样问题。进一步简化来说 当内存无法加载全部数据的时候 如何从包含位置大小的数据流中随机选取K个数据，并且要保证每个数据被抽取到的概率相等。 首先，针对不同的K 我们需要有不同的策略： 当K=1的时候 我们需要保证 假设数据流含有N个数 每个数被抽到的概率应该为1/N 应该这样做： 数据流中第i个数被保留的概率为 1/i 。只要采取这种策略，只需要遍历一遍数据流就可以得到采样值，并且保证所有数被选取的概率均为 1/N 。 为什么这种
Reservoir sampling（水塘抽样）
My_Jobs的专栏
09-11 7047
题目1： 给出一个数据流，这个数据流的长度很大或者未知。并且对该数据流中数据只能访问一次。请写出一个随机选择算法，使得数据流中所有数据被选中的概率相等。 对于复杂问题一定要学会归纳总结，即从小例子入手，然后分析，得出结论，然后在证明。不然遇到一个抽象问题，不举例感觉这个问题，直接解还是比较难的。 对于此问题的难处就是数据流的长度未知，如果已知，so easy。现在进行归纳总结： 1）
水塘抽样算法
weixin_34279184的博客
08-26 260
水塘抽样算法 水塘抽样算法是用于解决，对于一个未知长度的数据流进行随机采样的问题的。本文介绍几个算法及其变形。 说明：伪代码中S代表未知长度数据流，n为S的实际长度，S.CURRENT表示S当前值，S.NEXT代表S指针下移，R代表结果，k表示结果需要保留的个数。 简单抽样一个元素 Sample(S[1..n],R[1]) //s是未知长度的数据流 R[1]=S[1] //取...
10.20 水塘抽样（Reservoir Sampling)
qq_46487301的博客
10-20 389
10.20 水塘抽样水塘抽样算法核心数学原理代码实现rand()问题参考来源 当内存无法加载全部数据时，如何从包含未知大小的数据流中随机选取k个数据，并且要保证每个数据被抽取到的概率相等？ 水塘抽样 主要用于解决大数据流中的随机抽样问题，即：当内存有限，数据长度很大，甚至未知，那么如何从中随机选取k个数据，并且要求是等概率。 算法核心 水塘抽样的核心是，只遍历一次，每次都考虑一个问题：当前元素是否被选中，选中后替换之前选中的哪一个元素。 如果要随机选择K个元素，那么在遍历到第i个元素时，以k/i的概率选择该
水塘抽样算法（Spark RangePartitioner的抽样算法）
ooeeerrtt的博客
01-17 3492
1、水塘抽样解决的问题 对一个数量未知的样本，希望只经过一次遍历就完成随机抽样，即时间复杂度O(n)。因为样本数量未知，因此就不能通过random函数直接随机抽样。 2、水塘抽样的逻辑 希望在n个样本中随机抽取k个数据。即每个数据被抽取的概率为k/n。 首先我们创建一个k个成员的数组out，用来存放预期抽出的样本。 （1）当k>=n时，每一个样本被抽取的概率都为100%。因此都可以直接放入数组out。 （2...
spark抽样之蓄水池抽样
snaillup的博客
04-07 2086
spark随机森林的实现中用到了蓄水池抽样，主要是用在特征集抽样中，本文对蓄水池抽样的原理和spark源码进行简单分析。
海量样本无从下手？这五种抽样算法分分钟搞定
读芯术的博客
08-14 1619
全文共1854字，预计学习时长4分钟数据科学是研究算法的学科。本文介绍了一些常见的用于处理数据的抽样技术。图片来源：unsplash.com/@gndclouds简单随机...
c++概率
Python自学记录
03-18 1178
算法题 用返回0-6随机数的函数构造返回0-9随机数的函数 问题：给定一个返回06的随机自然数的函数，记为rand6()，则如何用rand6()函数构造返回09随机自然数的函数rand9()？ 对于此问题，首先最容易想到的rand6() + 3、rand6() * 1.5、rand6()*2 - 4 等很明显都是错误的（rand6() + 3将返回的是3~9之间的随机数；rand6() * 1.5...
水塘抽样算法（Reservoir Sampling Algorithm)
博客
04-25 2861
文章目录应用场景算法步骤算法原理代码实现 应用场景 主要用于解决大数据流中的随机抽样问题，即：当内存有限，数据长度很大，甚至未知，那么如何从中随机选取k个数据，并且要求是等概率。 算法步骤 水塘抽样的步骤是，只遍历一次，每次都考虑一个问题：当前元素是否被选中，选中后替换之前选中的哪一个元素。 采样过程： step1：首先将前k个元素全部选取。 step2：对于第i个元素(i>k)，以概率k/i来决定是否保留该元素，如果保留该元素的话，则随机丢弃掉原有的k个元素中的一个(即原来某个元素被丢掉的概率是1/
水塘抽样（Reservoir Sampling）
qq_42822363的博客
04-26 1925
水塘抽样（Reservoir Sampling）: 力扣398题目而来 问题描述：当内存无法加载全部数据时，如何从包含未知大小的数据流中随机选取k个数据，并且要保证每个数据被抽取到的概率相等。 特殊且常用情况：k=1，假设数据量为N 第一个数n1n_1n1​，我们选择保留，p(n1)=1p(n_1) = 1p(n1​)=1 第二个数n2n_2n2​，我们以12\frac{1}{2}21​的概率保留，那么n1n_1n1​被保留（不被覆盖）的概率p(n1)=1∗(1−12)=12p(n_1) = 1*(.
水塘抽样（Reservoir sampling）
听风居士
02-19 543
猫和桃子去吃回转寿司。桃子让猫从转盘上随机取下k个碟子。猫应该怎么做？ 已知： 1、猫和桃子坐在最上游的位置，从厨房伸出来的传送带会在第一时间把厨师做好的寿司送到他们面前。 2、从猫眼前经过的寿司如果不被猫取下来，则会被坐在下家的兔子们吃光，而不会再转回来。（每个寿司只经过一次） 3、桌子上只能容纳下k个碟子。 4、如果取下的寿司没有被吃过，可以被重新放回去。 5、虽然厨师已经停止生...
水塘抽样(Reservoir Sampling)问题
铭霏的记事本
07-24 2112
在高德纳的计算机程序设计艺术中，有如下问题：可否在一未知大小的集合中，随机取出一元素？。或者是Google面试题： I have a linked list of numbers of length N. N is very large and I don’t know in advance the exact value of N. How can I most efficiently wr
算法--随机算法之水塘抽样(Reservoir sampling)以及算法证明
a_lzq的博客
08-10 354
@[TOC](算法–随机算法之水塘抽样(Reservoir sampling)以及算法证明) 假设有这么一个问题,在人流穿梭的上海南京路的劲头,有电视台在采访,要求随机在一个小时内抽取一个人来进行采访. 首先分析这个问题: 1.你不能要求所有人都在这里等着,主要是电视台给的备用凳子不够只能保持一个人在凳子上. 2.不知道总数,人流是随机的不知道总数,所以不能得到总数N,然后通过1/N来得到相应的人. 3.怎么办? 最开始这个问题是在高纳德的<<计算机程序设计艺术>>一书中提出来的原本
水塘抽样法
weixin_52115456的博客
01-23 472
什么是水塘抽样法 在抽样的样本大小未知的情况下需要等概率选出一个数的时候推荐使用 原理： 遇到符合条件的数时选择的概率为1/n,n目前的元素个数，这样做每个数最终被选到的概率是相等的 证明： 客观来看 遇到第1个数时，第一个数被选择的概率为1/1 遇到第2个数时，第一个数被选择的概率为1/11/2=1/2，第二个数被选择的概率为1/2 遇到第3个数时，第一个数被选择的概率为1/11/22/3=1/2，第二个数被选择的概率为1/22/3=1/3，第三个数被选择的概率为1/3 推下去每个数被选择的概率都是一样的
等概率抽样——水塘抽样
polarday的博客
01-16 490
等概率抽样——水塘抽样 给出一个数据流，这个数据流的长度很大或者未知。并且对该数据流中数据只能访问一次，且不能使用额外的空间，请写出一个随机选择算法，使得数据流中所有数据被选中的概率相等。 从头开始遍历数据，当遍历到第n个数据时，从0到n-1中随机选取一个数字，如果选到数字0，则将答案置为该数据的值，否则答案不变继续向下抽样，遍历完所有数据后，抽到每个数据的概率都是1n\frac {1}{n}n1​ 证明： P(第i个数据为最终答案) =P(第i个数据抽到随机数0)×P(第i+1个数据没有抽到随机数0)×
reservoir sampling
最新发布
04-06
“蓄水池抽样”（reservoir sampling）是一种随机抽样的方法，应用于需要在不知道数据总量的情况下从数据流中抽取指定数量的数据样本的情况。这种方法可以通过不依赖于先前观察到的数据而从无限或非常大的数据流中...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值