水库采样

最新推荐文章于 2022-12-05 13:47:09 发布
最新推荐文章于 2022-12-05 13:47:09 发布
阅读量1.9k 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_27612639/article/details/51924613
版权

题目：流入若干个对象（整数，按个数流入），事先不知道个数。如何保证随机抽取k个数？

算法：
1、新建一个k位数组。
2、如果i<=k ,num[i] = x
如果i>k,num[rand()%i] = x

可以证明此算法是等概率的，每个数会进入数组的概率都是k/n

changtingwai58
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
VitterReservoirSampling:Vitter 的水库采样算法
06-20
Vitter的水库采样算法（Reservoir Sampling）是一种在大数据集上进行随机抽样的高效算法，由Jeffrey Scott Vitter于1985年提出。这个算法在处理大数据流时特别有用，因为它允许在固定内存空间内对任意大小的数据流...
os-fast-reservoir:快速近似水库采样的Python实现
05-08
快速近似水库采样的Python实现。 安装 $ pip install os-fast-reservoir 用法 原料药 from os_fast_reservoir import ReservoirSampling rs = ReservoirSampling(100) for i in range(1000): rs.sample(i) ...
水库抽样
teletubbies的博客
01-01 1077
输入：一组数据，其大小未知 输出：这组数据的K个均匀抽样 要求： 仅扫描数据一次 空间复杂性为O(K)【和抽样大小有关，和整个数据量无关，不可把所有数据都放在内存里进行抽样】 扫描到数据的前n个数字时（n>K），保存当前已扫描数据的K个均匀抽样 针对此种需求，水库抽样法应运而生 算法步骤： 申请一个长度为K的数组A保存抽样 保存首先接收到的K个元素 当接收到第 i 个新元素 t 时，以 K / i 的概率随机替换A中的元素（即生成 [ 1, i ]间随机数j，若 j ≤ K，则以 .
水库抽样算法【文字描述、代码实现、数学原理】
weixin_49456098的博客
06-11 1114
水库抽样算法是一个典型的空间亚线性算法。水库抽样的要求是，每一时刻取到的样本都是前面已经流过的全部数据的均匀抽样。连续输入一组未知大小的数据，输出这组数据的 k 个均匀抽样申请长度为 k 的数组A保存抽样 (此处下标用 1~k 表示)；首先保存接收到的前 k 个数据；当接收到第 i 个数据 t 时，生成 [1,i] 间的随机数 j, 若 j...
水库抽样算法
伶依
03-14 3793
定义： 从N个记录中随机选择n个记录，但一开始并不知道N为多少。   算法： 1. 选择抽样算法：       可顺序扫描N个记录，对第t+1个记录以概率(n-m)/(N-t)来选择（m为已选得的记录数），但这样做必须事先顺序扫描一遍文件以获得N的大小。   2. 水库抽样算法： 2.1 若记录十分大       第一遍扫描文件时获得m>=n个
水库抽样算法推导及实现
funboat的博客
07-25 2558
水库抽样算法 ​ 水库抽样算法为空间亚线性算法，可以在减少计算内存使用量的同时保证抽样数据的均匀性和准确性。 水库抽样算法的应用场景 输入：一组数据，其大小未知 输出：这组数据的k个均匀抽样 要求： 进扫描一次数据 空间复杂性位O(k) 扫描到数据的前n个数字时(n>k)，保存当前已扫描数据的k个均匀抽样 水库抽抽样算法的实现 申请长度为k的数组___A___保存抽样； 首先保存最先接收的k个数据； 当收到第i个数据t时，生成[1,i]间的随机数j，如若j<=k，则以t替
数据分析｜水塘抽样（应用场景+算法步骤+算法证明+Python实现）
长行
12-05 1009
水塘抽样
Rust实现的 水库采样（算法R）
06-12
本项目专注于一个特定的算法实现，即“水库采样（Reservoir Sampling）”，它是一种在未知大小的大数据集中进行随机采样的方法。Rust语言的实现使得这个算法在处理大量数据时能保持高效和稳定。 水库采样算法R是一...
基于LabVIEW与单片机的悬浮物采样系统设计与实现
最新发布
02-04
本文针对水源水库的悬浮物样本采集需求，设计并实现了一种基于LabVIEW与单 片机的悬浮物采样系统。首先，本文对课题的背景及意义、悬浮物采样器及基于LabVIEW 的测控系统的研究现状及趋势进行了简单介绍，然后结合一...
大型水库水质监测采样和溶解氧的测定
05-09
大型水库水质监测采样和溶解氧的测定
水塘抽样的原理及python实现
01-20
同步更新于知乎：https://zhuanlan.zhihu.com/p/107889958 最近在做整理，偶尔看到公众号的一篇关于随机抽样的分享，这个算法面试中经常会问到，特此总结一下。 网上关于这块解释并不清晰，主要参考如下，个人感觉写的比他更通俗易懂，哈哈。 https://zhuanlan.zhihu.com/p/107793995 解决什么问题 主要用于解决大数据流中的随机抽样问题，即：当内存有限，数据长度很大，甚至未知，那么如何从中随机选取k个数据，并且要求是等概率 算法核心 水塘抽样的核心是，只遍历一次，每次都考虑一个问题：当前元素是否被选中，选中后替换之前选中的哪一个元素。 知
哈工大大数据分析实验一
04-15
大数据第一次实验上传，hadoop的环境配置确实难搞，配置环境感觉快要比实验花的时间还长了！学艺不精，有不足之处大家可以进行自行完善~
水库抽样问题
共同分享，一起成长
09-02 1711
随机抽样问题表示如下： 要求从N个元素中随机的抽取k个元素，其中N无法确定。 这种应用的场景一般是数据流的情况下，由于数据只能被读取一次，而且数据量很大，并不能全部保存，因此数据量N是无法在抽样开始时确定的；但又要保持随机性，于是有了这个问题。所以搜索网站有时候会问这样的问题。 这里的核心问题就是“随机”，怎么才能是随机的抽取元素呢？我们设想，买彩票的时候，由于所有彩票的中奖概率
水库抽样算法精简总结
CuteKe的专栏
08-11 7538
水库抽样算法问题描述 输入：一组数据，大小未知 输出：这组数据的K个均匀抽泣 要求：仅扫描一次 总体要求：从N个元素中随机的抽取k个元素，其中N无法确定，保证每个元素抽到的概率相同 解决方案 一些符号：为要抽样的个数，N为总体个数位置，n为当前遍历的元素的位置。pool为k大小的数组，用来保存抽到的样本 n<=k，把当前值放入pool中，构成初步样本
大数据算法MOOC笔记3：水库抽样Reservoir Sampling（蓄水池问题）
麦田里的码农
10-31 7944
知识复习 空间亚线性算法：由于大数据算法中涉及到的数据是海量的，数据难以放入内存计算，所以一种常用的处理办法是不对全部数据进行计算，而只向内存里放入小部分数据，仅使用内存中的小部分数据，就可以得到一个有质量保证的结果。 数据流算法：是指数据源源不断地到来，根据到来的数据返回相应的部分结果。适用于两种情况：第一、数据量非常大仅能扫描一次时，可以把数据看成数据流，把扫描看成数据到来。第二、数据
水库采样 python 代码
江湖人称王某人的程序员
01-09 1040
import random # randint(0,n)，包括n import matplotlib.pyplot as plt %pylab inline # 数据集1000000条数据 Populating the interactive namespace from numpy and matplotlib c:\users\wrs\appdata\local\program...
水库采样算法
weixin_30823227的博客
05-10 723
//水库采样 用较小的开销来估计一个较大的数据流 1 #include<stdio.h> 2 #include<stdlib.h> 3 #include<time.h> 4 int main() 5 { 6 int count=0; 7 long long int sum_all=0; 8 long int...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值