162-大数据查重-布隆过滤器

已于 2022-05-07 11:29:14 修改
阅读量838 收藏 1
点赞数
分类专栏： 数据结构与算法 文章标签： 哈希算法 redis java
于 2022-05-07 00:52:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Edward_LF/article/details/124621749
版权

布隆过滤器

  • 在缓存服务器redis，在黑名单过滤，钓鱼网站过滤，URL过滤这些场景中，布隆过滤器很常见
  • 布隆过滤器就是把哈希表方法和位图算法结合起来

在这里插入图片描述
在这里插入图片描述

布隆过滤器讲解

布隆过滤器增加元素

在这里插入图片描述
假设 我们有3个哈希函数，位数组的长度是7个。
在这里插入图片描述

  • 我们通过第一个哈希函数，我们把这个key所要存储的数据不管是整数，还是字符串，还是IP地址，还是URL，作为输入参数，通过哈希函数得到的位置，就是位图数组范围内的一个下标。
  • 假设一个输入参数通过第一个哈希函数得出的结果是0
  • 通过第二个哈希函数得出的结果是4
  • 通过第三个哈希函数得出的结果是6

了解本专栏 订阅专栏 解锁全文 超级会员免费看
liufeng2023
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
大数据-排序、查重、第k大
JustKian的博客
03-15 487
1. 排序、top k 含有重复值：桶排序（将数据映射到有序桶中），每个桶再进行排序。其次还可以结合堆来实现 top k 不含重复值：直接使用BitMap来做，每一个bit位都代表一个数字，比如若数字为 32，就可以 有bitSet.set(32)，代表第32个bit位上有数字。——可以推出，16亿数字只会消耗 16*10^9个bit，即只会占用2G空间 2. 包含统计信息的排序、top k ...
大数据查重
QuinnNorris的博客
07-17 2975
大数据去重复/查重 经常会有大量的数据比如100G，要在内存为4G的处理器上进行查重和去重操作。 ConcurrentHashMap 数据量不大的时候可以采用concurrentHashMap来操作。 布隆过滤器 布隆过滤器是一种采用hash法进行查重的工具，它不是简单的做hash操作，而是将数据进行n次hash处理得到n个整数，将一个很长的数组的这n位从0设置为1。下次查找的时候经过同...
[大数据处理]——布隆过滤器
lucky52529的博客
05-19 1555
布隆过滤器 说到布隆这两个字大家可千万不要认为我们这里讲的是英雄联盟中的布隆大叔，今天我们所讲的布隆过滤器是一种大数据处理利器，他是由布隆算法Bloom Filter音译而来，是以Bitmap集合为基础的去重算法。 为什么需要布隆过滤器 直观的说，bloom算法类似一个位图，用来判断某个元素（key）是否在某个集合中。和一般的位图不同的是，这个算法无需存储key的值，对于每个key，只需要k个比特...
大数据的过滤-布隆过滤器
tiger_Angle
07-10 531
布隆过滤器使用场景 之前在《数学之美》里面看到过布隆过滤器的介绍。那么什么场景下面需要使用布隆过滤器呢？ 看下下面几个问题 字处理软件中，需要检查一个英语单词是否拼写正确 在 FBI，一个嫌疑人的名字是否已经在嫌疑名单上 在网络爬虫里，一个网址是否被访问过 yahoo, gmail等邮箱垃圾邮件过滤功能 以上这些场景有个共同的问题：如何查看一个东西是否在有大量数据的池子里面。 通常的做法有如下几种思路： 数组 链表 树、平衡二叉树、Trie Map (红黑树) 哈希表 上面
大数据算法——布隆过滤器
zjjcchina的博客
11-17 214
原理 在我之前的理解当中，如果想要判断某个元素在不在集合当中，经典的结构应该是平衡树和hash table。但是无论是哪一种方法，都逃不开一点，都需要存储原值。 比如在爬虫场景当中，我们需要记录下之前爬过的网站。我们要将之前的网址全部都存储在容器里，然后在遇到新网站的时候去判断是否已经爬过了。在这个问题当中，我们并不关心之前爬过的网站有哪些，我们只关心现在的网站有没有在之前出现过。也就是说之前出现过什么不重要，现在的有没有出现过才重要。 我们利用平衡树或者是Trie或者是AC自动机等数据结构和算法可以
redis-lua-scaling-bloom-filter：用于缩放布隆过滤器的LUA Redis脚本
02-03
由于我们使用缩放过滤器，因此使用add.lua添加元素可能会导致该元素同时存在于过滤器的多个部分中。 cas.lua可以防止这种情况。 仅使用cas.lua :count过滤器的:count键将准确计算添加到过滤器中的元素数。 仅使用...
布隆过滤器C源码-bloomfilter.rar
01-10
布隆过滤器C源码
Go-一个简单的golang布隆过滤器
08-14
一个简单的golang布隆过滤器
python使用布隆过滤器的实现示例
09-16
【布隆过滤器详解】 布隆过滤器是一种空间效率极高的概率型数据结构，用于判断一个元素是否可能在一个集合中。它可能会误判，但不会漏判，即它可能会将不存在的元素判断为存在，但不会将存在的元素判断为不存在。...
RedisBloom-2.2.6.zip | Redis布隆过滤器下载
11-12
鉴于github网络不稳定，此处提供免费下载，供广大学习爱好者使用。
大数据时代-Bloom Filter(布隆过滤器)
xuaomo的博客
11-12 481
前期我们已经介绍过了bitmap及大数据处理的办法，我们这一节就聊一聊布隆过滤器的那些事。 布隆过滤器（Bloom Filter）是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法，缺点是有一定的误识别率和删除困难。 判断一个元素是不是在一个集合里，一般想到的是将所有
大数据算法-＞布隆过滤器
weixin_44517561的博客
08-15 176
大数据算法->布隆过滤器需求要求解答篇 需求 不安全网页的黑名单包含100亿个黑名单的网页,每个网页的URL最多占用64B.现在想要实现一个网页过滤系统,利用该系统可以根据网页的URL判断该网页是否在黑名单上,请设计该系统. 要求 1.该系统允许有万分之一以下的判断失误率 2.使用的额外空间不要超过30GB 解答篇 ->思路简介: 不可以使用传统过滤方法-> 如果把黑名单中所有的URL通过数据库或哈希表保存下来,就可以对每条URL进行查询,但是每个URL有64B,数量是100亿个,所以至少
亿级数据过滤算法----布隆过滤器
不更了，主打一个陪伴
06-28 869
亿级数据过滤算法----布隆过滤器
大数据处理--布隆过滤器的原理与实现
ArchyLi
11-20 1340
一、定义如果向之前的章节，40亿个不重复无符号的整形判断是否存在，我们可以选择用位图来解决，那么如果是40亿个邮箱地址我们该如何解决呢。因此我们便想着能否把邮箱地址按照一定的方式映射到一个集合呢，接着我们只需要看点是否为1就知道这个集合有没有它了，这便是布隆过滤器的基本思想。我们采用字符串哈希函数来处理字符串，但是一个字符串哈希函数可能会产生很多的冲突，因此我们可以采用多个哈希函数来解决这点。二、布
554-大数据查重-哈希表应用
LINZEYU666的博客
09-13 362
大数据查重-哈希应用 模拟问题1 vector中放原始的数据，放着10000个随机的数字，有的数字有重复，有的数字没有重复，找第一个出现重复的数字 #include <iostream> #include <vector> #include <unordered_set> #include <unordered_map> #include <stdlib.h> #include <time.h> #include <strin
海量数据处理（查重，topk）
qq_43313035
03-28 926
文章目录查重问题哈希表示例问题：找第一个重复的数字统计数字及其出现的次数可以使用无序映射表求top k对内存有限制的大数据处理 查重问题 查重：就是在一组海量数据中，查找重复的数据，一般的解题思路就是哈希表 哈希表 名称 特点 unordered_set 单重集合，只存放key，不允许key重复 unordered_multiset 多重集合，只存放key，允许key重复 ...
数据结构与算法_大数据查重问题解决方法_位图
weixin_43916755的博客
10-13 699
位图方法解决大数据查重问题。
160-大数据查重-位图算法
Edward_LF的博客
05-06 941
大数据查重-位图算法 位： 内存管理的最小单位是字节，一个字节是8个位。 问题： 有1亿个整数，最大值不超过1亿，问都有哪些元素重复了？谁是第一个重复的？ 内存限制100M 1亿 = 100M 如果是放到哈希表上：100M * 4 = 400M * 2 = 800M 1、什么是位图算法？ 我们有下面一行数字： 我们用一个位存储数字是否出现过的状态，那么这几个数字，我们的位图数组需要定义多长呢？ 处理方法： 我们要找出这组数据的最大的数字19； 因为小的值在位图数组里肯定是靠前存放，大的值靠后
布隆过滤器原理及应用
热门推荐
csdn问鼎
08-20 1万+
1.先说下背景，肯定遇到这种情况，判断元素在不在一个集合里面，如果，集合里面的元素非常大，这个判断过程是非常耗时的，而且集合占用空间也很大。 2.应用场景，网页黑名单，垃圾邮件过滤，电话黑名单，url去重，内容推荐等。 3.原理：布隆过滤器实际上就是一个字节数组，字节数组的值是0或1，在添加元素的时候，对值通过多个hash函数的计算，得到多个0,1然后在字节数组里面在相应的位置设置值。这样处理...
redission布隆过滤器
最新发布
07-28
Redisson布隆过滤器是基于Redis实现的Java分布式布隆过滤器。它可以在多个JVM节点或其他进程中通过相同的KEY获取到布隆过滤器。布隆过滤器的主要功能是判断某个元素是否存在于容器中，因此非常适合解决缓存穿透问题...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

liufeng2023

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值