大数据去重问题：Bitmap和布隆过滤器(Bloom Filter)

最新推荐文章于 2024-07-24 14:07:28 发布
最新推荐文章于 2024-07-24 14:07:28 发布
阅读量1.2k 收藏
点赞数
分类专栏： 常见面试题 文章标签： bitmap 布隆过滤器 数据去重 大数据

一、Bitmap算法

bitmap就是用一个bit位来标记某个元素对应的value，而key即是这个元素。由于采用bit为单位来存储数据，因此在可以大大的节省存储空间。
这里写图片描述

二、布隆过滤器

布隆过滤器 (Bloom Filter)是由Burton Howard Bloom于1970年提出，它是一种space efficient的概率型数据结构，用于判断一个元素是否在集合中。在垃圾邮件过滤的黑白名单方法、爬虫(Crawler)的网址判重模块中等等经常被用到.
这里写图片描述

三名狂客
关注
专栏目录
海量数据判重——布隆过滤器（Bloom filter）与Bitmap对比
tick_tock97的博客
12-01 8575
前言 之前写过一篇Bitmap在海量整数排序中应用的博客，在看过布隆过滤器之后，感觉两个有些相似，但是又有区别，在查阅了很多资料之后，这里决定稍作总结。 关于布隆过滤器（Bloom filter）的介绍部分，大多翻译自Wikipedia 正文布隆过滤器简介 布隆过滤器（Bloom filter）是一个高空间利用率的概率性数据结构，由Burton Bloom于1970年提出。被用于测
大数据去重：Bitmap和布隆过滤器
越丘的博客
06-20 819
目录1. 用户关注链问题2. Bitmap3. Bloom filter（布隆过滤器）4. 海量数据中位数问题5. Top-K问题 1. 用户关注链问题 场景描述：在某场景下有一个用户关系链，比如A关注了B，然后B关注了C，然后用户B知道自己被谁关注，也知道他关注了谁。假如说将这个信息放在统一的数据库中，然后用户查询的时候每次去遍历，那么就会对数据库造成非常大的负担，而且在一个亿级用户系统中这样的...
BitSet和布隆过滤器(Bloom Filter)
weixin_34406796的博客
01-15 140
2019独角兽企业重金招聘Python工程师标准>>> ...
【算法】布隆过滤器
最新发布
wnm23的专栏
07-24 1403
布隆过滤器是一种用来快速判断一个元素是否属于一个集合的数据结构，它通过牺牲一定的准确性来换取空间和时间的效率。
＜位图（bitset）和布隆过滤器(BloomFilter)＞——《C++高阶》
m0_57859086的博客
09-18 840
哈希的应用、位图的模拟实现、布隆过滤器的模拟实现、海量数据处理等
【C++】哈希的应用：位图（bitset）和布隆过滤器（bloomfilter）
codewinter的博客
07-02 1005
面对判断一个数在不在海量数据中的问题，红黑树和哈希表查找效率是挺高的，但是我们光把海量数据存起来够呛，同时红黑树和哈希表附带的内存消耗，所需空间更大，基于这样的原因，提出了位图这种数据结构。布隆过滤器（Bloom Filter）是由布隆在1970年提出的 一种紧凑型的、比较巧妙的概率型数据结构，特点是高效地插入和查询，它的实现是一个「很长的二进制向量（位数组）」和「一系列哈希函数」。可以用来快速判断一个元素一定不存在或者可能存在一个集合中”。...
【数据结构】位图BitMap与布隆过滤器BloomFilter
weixin_34125592的博客
05-12 155
首先先看一下下面这个腾讯的面试题：给40亿个不重复的无符号整数，没排过序。给一个无符号整数，如何快速判断一个数是否在这40亿个数中。【腾讯】思路一： 最容易想到的解法就是遍历所有的40多亿个整数，然后一个一个判断。但是这个需要花费的内存是多大呢？大家可以去算一下，这里我就直接给出结果为16G，是不是需要的空间很大啊。如果面试官给出限制条件，要你使用的空...
bitmap和布隆过滤器简单总结
01-07
字符串映射到 BitMap 存在Hash碰撞的问题（引入bloom filter） 3、不适合数据稀疏。比如要存入(10,10000,100000000)这三个数据（引入 Roaring BitMap） 3、应用场景 对 不重复的 密集整数 进行排序 查找数据是否存在...
数据结构和算法之十一：BitMap和布隆过滤器
老周（重庆）的博客
05-27 568
数据结构之bitmap和布隆过滤器 bitmap 问题：100个数，取值范围在0-2亿，如何快速的判断一个数是否在这100个数中？ 思路1：开一个数组，数值对应数组的下标，对存在的100个数进行标记，比如设置为1；这样，查找一个数是否存在时，直接通过数组下面获取对应的值，判断是否为1即可。 这个思路非常简单高效，就是有一个问题，因为取值范围0-2亿，开个两个亿的空间数组有点不大科学，而且如果内存有限制的话，还开不出来。 思路2：既然我只是对存在的数做一个标记，那么用一个二进制位就可以了吧，0表示不存在，1表
学习笔记 | 大数据和空间限制 | 布隆过滤器 BloomFilter
大虎牙的博客
04-08 296
初识布隆过滤器 【题目】 不安全网页的黑名单包含100亿个黑名单网页，每个网页的URL最多占用64B。现在想要实现一个网页过滤系统，利用该系统可以根据网页的URL判断该网页是否在黑名单上，请设计该系统。 【要求】 该系统允许有万分之一以下的判断失误率。 使用的额外空间不要超过30GB。 首先介绍哈希函数（散列函数）的概念。 哈希函数的输入域可以是非常大的范围，比如，任意一个字符串，但是输出域...
布隆过滤器(Bloom Filter)-使用原理和场景
m0_38068812的博客
12-30 1309
布隆过滤器 Bloom Filter
BloomJS:布隆过滤器JavaScript实现
05-21
布卢姆 布隆过滤器JavaScript实现 用法 要在您的项目中使用BloomJS，只需从dist目录中导入bloom.min.js文件即可！ 构造函数： var bloom = new Bloom(k, m, n, hashFunction) k ：散列数量，默认为Math.max(Math.round(m / n * Math.LN2), 1) m ：数组中的位数，默认为1000 n ：预期的商品数量，默认为100 hashFunction ：返回十六进制字符串的函数-默认为SHA1函数 简单地不向构造函数传递任何参数应该适用于简单情况 方法： bloom.insert(string) ：将string插入bloom过滤器，返回true bloom.contains(string) ：检查过滤器是否包含string ，如果包含则返回true ，否则返回false 贡献 如
布隆过滤器与Redis的BitMap之区别
GCM_Ming的博客
01-07 1573
布隆过滤器与Redis的BitMap之区别
海量数据去重的Hash、bitmap、BloomFilter、分布式一致性hash
qq_29750559的博客
06-05 1390
布隆过滤器是一种概率型数据结构，它的特点是高效地插入和查询，能确定某个字符串一定不存在或者可能存在；优缺点：布隆过滤器相⽐传统的查询结构（例如：hash，set，map等数据结构）更加⾼效，占⽤空间更⼩，但是确定是它返回的结果是概率性的，结果存在一定的误差，误差可控，同时不支持删除操作构成：位图（bit数组）+ n个hash函数。
布隆过滤器实践，缓存穿透的预防及和bitmap的区别
Koikoi12的博客
11-22 1981
什么叫布隆过滤器 布隆过滤器（Bloom Filter）是一个叫做 Bloom 的老哥于1970年提出的。 实际上可以把它看作由二进制向量（或者说位数组）和一系列随机映射函数（哈希函数）两部分组成的数据结构。 它的优点是空间效率和查询时间都比一般的算法要好的多，缺点是有一定的误识别率和删除困难。 实现原理 先来一张图 布隆过滤器算法主要思想就是利用 n 个哈希函数进行 hash 过后，得到不同的哈希值，根据 hash 映射到数组（这个数组的长度可能会很长很长）的不同的索引位置上，然后将相应的索引位上的值
海量数据下使用bitmap和布隆过滤器去重
godwei_ding的博客
05-22 2728
海量数据下使用bitmap和布隆过滤器去重 常规情况下的hash表去重 对于常规的少量数据去重，我们往往采用hash表来去重。这种方法比较简单，就是计算出hash值进行比较，然后hash值相同的在进行下额外的判断来确认是否是同一个数据即可。 bitmap去重 在海量数据进行去重的条件下，如果继续使用hash表则会出现一个很严重的问题，由于hash表是建立了一个hash值与实际数据的...
spark 布隆过滤器(bloomFilter)
u010990043的博客
05-29 5213
        数据过滤再很多场景都会应用的到，特别实在大数据环境下。在数据量很大的场景实现过滤或者全局去重，需要存储的数据量和计算代价时非常的庞大的。很多小伙伴第一念头肯定会想到布隆过滤器，有一定的精度损失，但是存储性能和计算性能可以达到集合级别的提升。很多第三方框架也实现了相应的功能，比如hbase框架实现的布隆过滤器性能也是非常的棒，redis也可以实现相应的功能。        我们在做流...
php如何对大文本数据去重,PHP结合redis实现大文件去重
weixin_36098237的博客
03-17 204
本篇文章主要内容是用PHP多个进程配合redis的有序集合实现大文件去重，感兴趣的朋友可以学习一下。1.对一个大文件比如我的文件为-rw-r–r– 1 ubuntu ubuntu 9.1G Mar 1 17:53 2018-12-awk-uniq.txt2.使用split命令切割成10个小文件split -b 1000m 2018-12-awk-uniq.txt -b 按照字节切割 ,...
布隆过滤器简介
weixin_34301132的博客
07-19 184
作者Jack47 转载请保留作者和原文出处 注：本文主要翻译自维基百科Bloom Filter 布隆过滤器(Bloom Filter)是一种节省空间的概率数据结构，由Burton Howard Bloom在1970年提出，用来测试一个元素是否在一个集合里。有可能”误报“，但肯定不会”错报“：对布隆过滤器的一次查询要么返回“可能在集合中“，要么”肯定不在集合里“。 判断一个元素是不是在一个集合里，一...
40亿QQ号去重：1G内存下的位图与布隆过滤器策略
位图技术不仅适用于去重，还广泛应用于排序和其他场景，比如著名的布隆过滤器（Bloom Filter）。 布隆过滤器是另一种基于位图的数据结构，它利用多个哈希函数将元素映射到位数组中。查询时，如果所有对应位都为1，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值