Java 大数据算法 布隆过滤器的简单实现

已于 2022-05-23 19:26:55 修改
阅读量2.5k 收藏 2
点赞数 1
分类专栏： 架构之Java 进阶 文章标签： java Android
于 2022-04-05 11:32:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010755471/article/details/123966621
版权
本文介绍了布隆过滤器的基本概念，这是一种由布隆于1970年提出的空间效率和查询效率极高的概率型算法。主要用于判断一个元素是否可能存在于给定的集合中，虽然存在误判概率，但可以通过调整参数降低错误率。在大数据场景下，布隆过滤器被广泛用于节省存储空间。
摘要由CSDN通过智能技术生成

布隆过滤器（英语：Bloom Filter）是1970年由布隆提出的，布隆过滤器可以用于检索一个元素是否在一个集合中，因此它是一个空间效率极高的概率型算法；它实际上是一个很长的二进制向量和一系列随机映射函数；

优缺点

仅仅保留数据的指纹信息，空间效率极高；
查询效率极高，时间复杂度为：O（n）；
信息安全性较高；

存在一定的误判；（默认大概3% 的错误率，可牺牲时间和空间，使错误率无限趋向于零）
数据删除困难；

public class BloomFilterDemo {
   
	
	private static final int insertions = 1000000;//10
了解本专栏 订阅专栏 解锁全文 超级会员免费看
半身风雪
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
订阅专栏
【布隆过滤】大数据+查重过滤+爬虫领域精选算法Python ，C++，Java实现源码放送~
cv君的博客
08-11 1万+
学爬虫和大数据程序员建议必看算法，源码放送了~ 文章目录一、算法简介二、数据如何存入布隆过滤器三、布隆过滤器为什么会有误判四、底层原理：HashMap 的问题布隆过滤器数据结构使用场景python实现（看这里）六、 使用方法重点：简单测试：c++代码实现：Java实现布隆过滤器 一、算法简介 本质上布隆过滤器是一种数据结构，比较巧妙的概率型数据结构，特点是高效地插入和查询。根据查询结果可以用来告诉你 某样东西一定不存在或者可能存在 这句话是该算法的核心。 相比于传统的 List、Set、Map 等数据结构，
java实现的布隆过滤器算法
07-27
使用java实现的布隆过滤器算法，jdk-1.7，使用java实现的布隆过滤器算法，jdk-1.7，使用java实现的布隆过滤器算法，jdk-1.7，
用Java实现布隆过滤器
热门推荐
aaa_bbb_ccc_123_456的博客
05-11 1万+
布隆过滤器1.什么是布隆过滤器？2.布隆过滤器的原理介绍3.布隆过滤器使用场景4.用Java 实现布隆过滤器 1.什么是布隆过滤器？ 布隆过滤器（Bloom Filter）是一个叫做 Bloom 的老哥于1970年提出的。 实际上可以把它看作由二进制向量（或者说位数组）和一系列随机映射函数（哈希函数）两部分组成的数据结构。 它的优点是空间效率和查询时间都比一般的算法要好的多，缺点是有一定的误识别率和删除困难。 2.布隆过滤器的原理介绍 图解： 如图所示，布隆过滤器添加元素时，该元素首先由多个
Java中的大数据处理与分析技术
最新发布
技术研究中心
07-04 354
随着数据量的爆炸式增长，大数据处理和分析成为当今软件开发领域中的重要挑战和机遇。Java作为一种强大而稳定的编程语言，提供了丰富的工具和框架来处理和分析大规模数据。通过合理的技术选型和设计，开发人员可以构建出稳定、高效的大数据处理平台，应对复杂的数据分析和应用需求。：使用分布式计算框架（如Apache Spark）进行数据处理和计算，支持批处理和实时处理。：优化系统性能，确保系统能够处理不断增长的数据量，并具备良好的扩展性和容错性。：利用机器学习算法和数据挖掘技术分析数据，发现隐藏在数据背后的模式和趋势。
用java实现一个非常简单的布隆过滤器
m0_53611007的博客
02-13 840
在查redis缓存之前往往先经过布隆过滤器，达到防止缓存穿透的作用 布隆过滤器原理以及优缺点可以看博客 布隆过滤器的原理，优缺点_m0_53611007的博客-CSDN博客_布隆过滤器的优缺点 看代码： /** * @author:yuze * @description:我的极简布隆过滤器 * @data:2022/2/13 */ public class MyBloomFilter { private int[] bloomFilter = new int[1024];//存放.
Java实现布隆过滤器
ACGkaka的博客
11-10 5808
1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列的随机映射函数（哈希函数）两部分组成的数据结构。用于检索一个元素是否在一个集合中。时间复杂度低，增加及查询元素的时间复杂度都是O(k)，k为Hash函数的个数；占用存储空间小，布隆过滤器相对于其他数据结构（如Set、Map）非常节省空间。存在误判，只能证明一个元素一定不存在或者可能存在，返回结果是概率性的，但是可以通过调整参数来降低误判比例；
Java简单实现布隆过滤器
hjlooper的博客
07-31 188
package com.company.BloomFilter; /* * 用来查找是否存在某个元素 在尽可能少的内存下 * HashSet和HashMap的速度狠快，但是对于空间的利用率不是很高效 */ public class BloomFilter<T> { // 二进制位的长度 private int bitSize; // 哈希函数的个数 private int hashSize; private long[] bits; /**
布隆过滤器的原理和使用场景详解
wui66655的博客
02-23 6326
什么是布隆过滤器？ 布隆过滤器是一种数据结构，特点是高效的插入和查询，而且非常节省空间。通过对位（bit）的操作，可以用来告诉你”某个值一定不存在或者可能存在“。相比于传统的 List、Set、Map 等数据结构，它更高效、占用空间更少，但是缺点是 hash 碰撞造成的误判。 场景 一般使用较多的场景就是避免缓存穿透，具体场景就是：在使用 Reids 做数据缓存的时候，很有可能会遇到一个问题：用户想要查询一个数据，发现 redis 缓存没有命中，于是向数据库查询。发现也没有，于是本次查询失败。当用户很
PDD–基于高级布隆过滤器算法用于高效得删除数据流中的近似重复数据
08-06
标题 "PDD – 基于高级布隆过滤器算法用于高效得删除数据流中的近似重复数据" 提供了一个关键的技术应用场景，即利用高级布隆过滤器来处理数据流中的重复信息。这一主题主要涉及数据处理、数据清洗以及算法优化，...
布隆过滤器 java实现代码
06-29
布隆过滤器 源码 java版 /** * This program is free software: you can redistribute it and/or modify * it under the terms of the GNU Lesser General Public License as published by * the Free Software Foundation, either version 3 of the License, or * (at your option) any later version. * * This program is distributed in the hope that it will be useful, * but WITHOUT ANY WARRANTY; without even the implied warranty of * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the * GNU Lesser General Public License for more details. * * You should have received a copy of the GNU Lesser General Public License * along with this program. If not, see . */
用java实现的大数据分析 ID3算法
09-12
这个例子来源于Quinlan的论文。 假设，有种户外活动。该活动能否正常进行与各种天气因素有关。不同的天气因素组合会产生两种后果，也就是分成2类：能进行活动或不能。我们用P表示该活动可以进行，N表示该活动无法进行。 下表描述样本集合是不同天气因素对该活动的影响。 Attribute class outlook temperature（温度） humidity （湿度） windy（风） Play --------------------------------------------------------- sunny hot high false N sunny hot high true N sunny mild high false N sunny cool normal false P sunny mild normal true P rain mild high false P rain cool normal false P rain cool normal true N rain mild normal false P rain mild high true N overcast hot high false P overcast cool normal true P overcast mild high true P overcast hot normal false P 分析如以上数据可得出如下决策树（横着看） |--outlook --|--rainy --|--windy --|--TRUE --|--NO -- |--FALSE --|--YES -- |--sunny --|--humidity --|--high --|--NO -- |--normal --|--YES -- |--overcast --|--YES --
Java 实现的高性能布隆过滤器！.zip
09-24
Java 实现的高性能布隆过滤器！.zip,Advanced Bloom Filter Based Algorithms for Efficient Approximate Data De-Duplication in Streams
动态布隆过滤器Java实现
weixin_34297704的博客
10-10 404
布隆过滤器（BloomFilter）是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法，缺点是有一定的误识别率和删除困难。当年，布隆过滤器还是静态的，即只能处理一定容量的数据，不能处理未知规模的数据。 那么在这里，我...
java实现简易版布隆过滤器
远方的少年
12-17 705
public class BloomFilters { /** * 数组长度 */ private int arraySize; /** * 数组 */ private int[] array; public BloomFilters(int arraySize){ this.arraySize = arraySize; this.array = new int[arraySize]; .
Java实现: 简单布隆过滤器
bb_ji的博客
05-01 559
java实现布隆过滤器
java实现布隆过滤器
mxt51220的博客
03-30 336
布隆过滤器（Bloom Filter）是1970年由布隆提出来的。它实际上是由一个很长的二进制数组+一系列hash算法映射函数，用于判断一个元素是否存在于集合中。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比一般的算法要好的多，缺点是有一定的误识别率和删除困难。
Java实现布隆过滤器详解
以下是一个简单的Java布隆过滤器实现： ```java import java.util.BitSet; public class BloomFilter { private BitSet bits; private int hashFunctions; public BloomFilter(int capacity, int hash...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

半身风雪

感谢打赏，你的鼓励，是我创作的

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值