布隆过滤器（Bloom Filter）- 原理、实现和推导

最新推荐文章于 2024-02-04 23:37:44 发布
置顶 最新推荐文章于 2024-02-04 23:37:44 发布
阅读量4.4k 收藏 16
点赞数 4
分类专栏： 算法 文章标签： 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hlzgood/article/details/109847282
版权

目录

算法背景

布隆过滤器–概念

布隆过滤器—原理

布隆过滤器—缺点

布隆过滤器—实现

布隆过滤器—应用

布隆过滤器—公式推导

算法背景

问题：

在开发中，经常要判断一个元素是否在一个集合中。

实现方案：

编程中通常使用集合来存储所有元素，然后通过hash值来确定元素是否存在。

如：java中的HashMap、HashSet等。

优点：快速准确

缺点：耗费存储空间

瓶颈：

当集合比较小时，这个问题不明显

当集合比较大时，散列表存储效率低的问题越明显

如：判断邮件地址是否是发送垃圾邮件的地址

采用散列表：将每一个Email地址对应成一个8字节的信息指纹，然后存入散列表，由于散列表的存储效率一般只有50%，因此一个Email地址需要16个字节。一亿Email约1.6GB内存，存储几十亿个地址约上百GB的内存。

 

布隆过滤器–概念

布隆过滤器（英语：Bloom Filter）是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询效率都远远超过一般的算法，缺点是有一定的误判率和删除困难。

 

布隆过滤器—原理

布隆过滤器的原理是：

当一个元素被加入集合时，通过K个散列函数将这个元素映射成一个位数组中的K个点，把它们置为1。检索时，我们只要看看这些点是不是都是1就（大约）知道集合中有没有它了：如果这些点有任何一个0，则被检元素一定不在；如果都是1，则被检元素很可能在。这就是布隆过滤器的基本思想。

 

布隆过滤器—缺点

bloom filter之所以能做到在时间和空间上的效率比较高，是因为牺牲了判断的准确率、删除的便利性。

存在误判。可能要查到的元素并没有在容器中，但是hash之后得到的k个位置上值都是1。如果bloom filter中存储的是黑名单，可以通过建立一个白名单来存储可能会误判的元素。

删除困难。一个放入容器的元素映射到bit数组的k个位置上是1，删除的时候不能简单的直接置为0，可能会影响其它元素的判断。可以采用Counting Bloom Filter（计数布隆过滤器），将标准Bloom Filter位数组的每一位扩展为一个小的计数器（Counter）。

 

布隆过滤器—实现

在使用bloom filter时，绕不过的两点：

1）预估数据量n

2）期望的误判率fpp

在实现bloom filter时，绕不过的两点：

1）hash函数的选取

2）bit数组的大小

对于一个确定的场景，我们预估要存的数据量为n，期望的误判率为fpp，然后需要计算我们需要的Bit数组的大小m，以及hash函数的个数k，并选择hash函数。

（1）Bit数组大小选择

　　根据预估数据量n以及误判率fpp，bit数组大小的m的计算方式：

（2）哈希函数选择

　　由预估数据量n以及bit数组长度m，可以得到一个hash函数的个数k：

哈希函数的选择对性能的影响是很大的，一个好的哈希函数要能近似等概率的将字符串映射到各个Bit。选择k个不同的哈希函数比较麻烦，一种简单的方法是选择一个哈希函数，然后送入k个不同的参数。

下面使用java来实现布隆过滤器：

import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.ObjectInputStream;
import java.io.ObjectOutputStream;
import java.io.Serializable;
import java.math.BigInteger;
import java.security.MessageDigest;
import java.security.NoSuchAlgorithmException;
import java.util.BitSet;
import java.util.Date;
import java.util.HashSet;
import java.util.Set;

/**
 * 布隆过滤器
 * 
 * @author Administrator
 *
 */
public class BloomFilterDemo implements Serializable {

	private static final long serialVersionUID = -5221305273707291280L;

	private int dataCount; 			// 预期数要存的数据量
	private double falsePositive; 	// 期望的误判率

	private BitSet bits; 			// 位数组，使用BitSet实现
	private int bitSize;			// 位数组大小
	private int hashFunctionCount;	// 散列函数的个数

	public BloomFilterDemo(int dataCount, double falsePositive) {
		super();
		this.dataCount = dataCount;
		this.falsePositive = falsePositive;
		this.init();
	}

	/**
	 * 初始化
	 */
	private void init() {
		this.bitSize = (int) this.getNumOfBits(this.dataCount, this.falsePositive);
		this.hashFunctionCount = this.getNumOfHashFunctions(this.dataCount, this.bitSize);
		this.bits = new BitSet(this.bitSize);
	}

	/**
	 * 往布隆过滤器添加数据标记
	 * 如果不存在就进行记录并返回false，如果存在了就返回true
	 * 
	 * @param data
	 * @return
	 * @throws NoSuchAlgorithmException 
	 */
	public boolean add(String data) throws NoSuchAlgorithmException {

		int[] indexs = new int[this.hashFunctionCount];
		// 先假定存在
		boolean exist = true;
		int index;

		for (int i = 0; i < this.hashFunctionCount; i++) {
			indexs[i] = index = hash(data, i);
			if (exist) {
				if (!this.bits.get(index)) {
					// 只要有一个不存在，就可以认为整个字符串都是第一次出现的
					exist = false;
					// 补充之前的信息
					for (int j = 0; j <= i; j++) {
						//将对应的位设置为true
						this.bits.set(indexs[j], true);
					}
				}
			} else {
				//将对应的位设置为true
				this.bits.set(index, true);
			}
		}

		return exist;
	}

	/**
	 * 检查数据是否存在
	 * 
	 * @param data
	 * @return
	 * @throws NoSuchAlgorithmException 
	 */
	public boolean check(String data) throws NoSuchAlgorithmException {
		for (int i = 0; i < this.hashFunctionCount; i++) {
			int index = hash(data, i);
			if (!this.bits.get(index)) {
				return false;
			}
		}
		return true;
	}

	
	/**
	 * md5实现hash--目前测试，该hash算法的效果比较好
	 * @param message
	 * @param funNum
	 * @return
	 * @throws NoSuchAlgorithmException 
	 */
	private int hash(String message, int funNum) throws NoSuchAlgorithmException{
		MessageDigest md5 = MessageDigest.getInstance("md5");
        message  = message + String.valueOf(funNum);
        byte[] bytes = message.getBytes();
        md5.update(bytes);
        BigInteger bi = new BigInteger(md5.digest());

        return Math.abs(bi.intValue()) % this.bitSize;
    }


	/**
	 * 获取Bit数组的大小
	 * 
	 * @param n
	 *            预估要存的数据量
	 * @param p
	 *            期望的误判率
	 * @return
	 */
	private long getNumOfBits(long n, double p) {
		if (p == 0) {
			p = Double.MIN_VALUE;
		}
		// -1 * (n * log(p)) / (log(2) * log(2))
		return (long) (-n * Math.log(p) / (Math.log(2) * Math.log(2)));
	}

	/**
	 * 获取hash函数的数量
	 * 
	 * @param n
	 *            预估要存的数据量
	 * @param m
	 *            Bit数组的大小m
	 * @return
	 */
	private int getNumOfHashFunctions(long n, long m) {
		// (m / n) * log(2)
		return Math.max(1, (int) Math.round((double) m / n * Math.log(2)));
	}

	/**
	 * 持久化布隆过滤器对象
	 * 
	 * @param path
	 */
	public void saveFilterToFile(String path) {
		try (ObjectOutputStream oos = new ObjectOutputStream(new FileOutputStream(path))) {
			oos.writeObject(this);
		} catch (Exception e) {
			throw new RuntimeException(e);
		}

	}

	/**
	 * 读取布隆过滤器对象
	 * 
	 * @param path
	 */
	public static BloomFilterDemo readFilterFromFile(String path) {
		try (ObjectInputStream ois = new ObjectInputStream(new FileInputStream(path))) {
			return (BloomFilterDemo) ois.readObject();
		} catch (Exception e) {
			throw new RuntimeException(e);
		}
	}

	public static void main(String[] args) {
		String file = "d:\\bloomFilter.obj";
		try {
			createFilter(file);
			readFilter(file);
		} catch (NoSuchAlgorithmException e) {
			e.printStackTrace();
		}
		
	}
	
	public static void createFilter(String file) throws NoSuchAlgorithmException {
		int count = 1000 * 10000;
		double fpp = 0.00001;
		
		System.out.println("start --- " + new Date());
		BloomFilterDemo bloomFilter = new BloomFilterDemo(count, fpp);
		int i = 0;
		while (i < count) {
			String msg = "时间：2018-10-01 10:00:00， 源IP：10.1.1.12，目标IP：192.1.1.205， 攻击类型：ddos攻击 -- " + i; 
			bloomFilter.add(msg);
			i++;
		}
		bloomFilter.saveFilterToFile(file);
		System.out.println("end --- " + new Date());
	}
	
	public static void readFilter(String file) throws NoSuchAlgorithmException {
		BloomFilterDemo bloomFilter = readFilterFromFile(file);
		System.out.println("bitSize: " + bloomFilter.bitSize);
		System.out.println("hashFunctionCount: " + bloomFilter.hashFunctionCount);

		System.out.println("start --- " + System.currentTimeMillis());
		int existCount = 0;
		for (int i = 0, size = 10 * 10000; i < size; i++) {
			String msg = "时间：2018-10-01 10:00:00， 源IP：10.1.1.12，目标IP：192.1.1.205， 攻击类型：ddos攻击 -- " + i;
			msg += System.currentTimeMillis();
			
			if (bloomFilter.check(msg)) {
				existCount++;
			}
		}
		System.out.println("end --- " + System.currentTimeMillis());
		System.out.println(existCount);
	}

}

 

布隆过滤器—应用

常见的几个应用场景：

（1）网页爬虫对URL的去重，避免爬取相同URL地址

（2）反垃圾邮件，从数十亿个垃圾邮件列表中判断某邮箱是否垃圾邮箱（同理，垃圾短信）

（3）缓存击穿，将已存在的缓存放到布隆中，当黑客访问不存在的缓存时迅速返回避免缓存及DB挂掉

 

布隆过滤器—公式推导

预估要存的数据量为：n

期望的误判率为：P

Bit数组的大小为：m

Hash函数的个数为：k

推导过程：

1）对某一特定bit位在一个元素由某特定hash函数插入时没有被置为1的概率为：

2）则k个hash函数都没有将其置为1概率为：

3）如果插入了n个元素，都未将其置为1的概率为：

4）反过来，则此位被置为1的概率为：

5）一个不在集合中的元素，被误判在集合中的概率：

6）根据自然常数公式： lim(1+1/x)^x, x→∞，得出：

7）k为何值时可以使得误判率最低。设误判率为k的函数：

8）设：

9）则简化为：

10）两边取对数：

11）两边对k求导：

12）下面求最值：

则误判率最低时，得出k值：

13）把k代入误判率公式，得出：

14）把k代入误判率公式，得出m值：

 

Leon.ENV
关注
  • 4
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
利用Java手写一个布隆过滤器Bloom Filter
05-19
布隆过滤器是一种数据结构，主要用于判断一个元素是否可能在一个集合中存在。它可以在插入和查询数据时快速地判断一个元素是否可能在这个集合中，比如在缓存中查询一个元素是否存在。 它的原理是使用多个哈希函数对元素进行哈希，然后将哈希值映射到一个位数组中的多个位置上。当查询一个元素时，它会通过哈希函数得到多个哈希值，并检查这些哈希值对应的位数组上的值是否都为1。如果都为1，则认为这个元素可能存在于集合中；如果有一个为0，则认为这个元素一定不存在于集合中。 由于哈希函数的特殊性，可能会出现误判的情况。即使元素不存在于集合中，也有可能所有哈希值对应的位数组上都是1，导致误判。但是，误判的概率可以通过调整哈希函数的个数和位数组的大小来控制，可以在不增加太多空间开销的情况下，大大提高查询效率。 本例子给出使用多个seed作为计算质数，大大减低误判的情况，推荐给大家参考
详解布隆过滤器（含面试考点）
最新发布
sun_0228的博客
05-21 964
布隆过滤器底层实现、优缺点、面试考点
布隆过滤器及实现方式总结
Torry__的博客
07-25 1337
目录布隆过滤器是啥？bitmap布隆过滤器的实现方式降低布隆过滤器误判率的方式总结布隆过滤器的实现方式谷歌Guava实现的布隆过滤器基于Redisson的布隆过滤器基于rebloom的布隆过滤器布隆过滤器的使用场景 布隆过滤器是啥？ 布隆过滤器是一种判断某个元素是否存在于某个大量集合的算法。 比如：比如现在有一个集合，保存了10亿个手机号码，现在我要判断某个手机号码是否存在于这个集合中。要怎么判断呢？ 最简单的方法，就是遍历集合，挨个判断。这种方式对于少量数据可行，但是对于这种海量数据，首先要保存10亿个
布隆过滤器（BloomFilter）原理及如何实现（使用Redis的bitmap数据结构）
zwl2220943286的博客
02-04 1078
一文掌握布隆过滤器的原理和使用。
布隆过滤器原理简介
DamonRush的博客
03-04 3963
文章目录1、基本概念2、示例3、影响误判的几个因素4、guava实现的BloomFilter5、总结 1、基本概念 本质上是一种数据结构，比较巧妙的概率型数据结构，本身是一个很长的二进制向量，存放的不是0就是1。特点是高校的插入和查询，可以用来告诉你“某样东西一顶不存在或者可能存在”。主要用来判断某一元素在某一集合中存不存在；相比于传统的List，Set，Map等数据结构，他更高效、占中空间更少，...
介绍一下布隆过滤器的原理以及实现它的几种方式（Guava、Redission、Apache Commons、Jedis)
让~学习~成为一种习惯（橡 皮 人の技术博客）
05-19 539
想必大家都知道布隆过滤器，它是为了预防黑客发起大量非法请求的一种手段，例如Redis的缓存穿透，就可以用布隆过滤器来解决。它最大的特点是说没有的一定没有，说有的不一定有（误差在0.01）。1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列的随机映射函数（哈希函数）两部分组成的结构，用于快速检索一个元素是否可能存在于一个集合（bit数组中）。优点：时间复杂度低，增加及查询元素的时间复杂度都是O(k)，k为Hash函数的个数；占用存储空间小，布隆过滤器相对于其他数据结构（如Set、M
【原创】缓存穿透-布隆过滤器实现
weixin_42306823的博客
04-17 947
使用布隆过滤器，可以将数据库中的所有唯一主键放入布隆过滤器中。每当需要查询某个关键字时，先查询布隆过滤器。如果查询结果表明该关键字不存在，就可以直接返回查询结果为空。如果查询结果表明该关键字存在，就需要进行数据库的访问，查询具体的数据是否存在，不存在则在返回空。
布隆过滤器的基本原理
w_l666的博客
12-27 481
布隆过滤器（Bloom Filter）是一种空间效率高、查询速度快的数据结构，主要用于判断一个元素是否可能属于一个集合。它的主要特点是能够高效地判断一个元素是否在集合中，但不能确保元素一定在集合中，也就是可能存在一定的误判。
布隆过滤器实现
渔阳的博客
05-28 143
（通过InitializingBean 在初始化中实现）
布隆过滤器
12-17
在C++实现的布隆过滤器中，主要包含以下几个核心部分： 1. **位数组（Bit Array）**：布隆过滤器的基础是一个很长的二进制向量，初始化为全零。这个位数组的大小决定了可以存储的元素数量以及误判率。 2. **哈希...
C++网络爬虫项目
07-04
2.2.2. 布隆过滤器(BloomFilter) 基于布隆算法，对欲加入队列的原始统一资源定位符进行过滤，以防止已被抓 取过的URL再次入队，降低冗余开销同时避免无限循环。 2.2.3. 原始统一资源定位符(RawUrl) 提供原始形态的...
布隆过滤器的原理和实现详细分析（全）
码农研究僧的博客
12-26 715
目录前言1. 预备知识1.1 哈希函数2. 布隆过滤器2.1 概念2.2 实现原理2.3 步骤2.4 实现 前言 数组、链表、树等数据结构会存储元素的内容，一旦数据量过大，消耗的内存也会呈现线性增长 所以布隆过滤器是为了解决数据量大的一种数据结构 讲述布隆过滤器的时候需要了解一些预备的知识点：比如哈希函数 1. 预备知识 1.1 哈希函数 哈希函数指将哈希表中元素的关键键值映射为元素存储位置的函数 一般的线性表，树中，记录在结构中的相对位置是随机的，即和记录的关键字之间不存在确定的关系，因此，在结构中查找记
图解布隆过滤器，十分钟带你理解什么是布隆过滤器
2301_76607156的博客
03-21 604
布隆过滤器（Bloom Filter）是非常经典的以空间换时间的算法。布隆过滤器由布隆在 1970 年提出。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法，缺点是有一定的误识别率和删除困难。其实说白了，布隆过滤器就是一种节省空间的概率数据结构，通过使用很数组和一些列随机映射函数。用于判断一个元素是否在一个集合中，0代表不存在某个数据，1代表存在某个数据。
布隆过滤器详解
weixin_41715893的博客
12-13 1886
假设有以下需求：在用户注册时，判断输入的用户名是否已被注册？首先我们想到的是用HashMap存储所有用户名，使得查询操作在O（1）时间复杂度完成，但他的缺点是内存占用过高，当数据量上亿时HashMap对内存要求很高。此时布隆过滤器就可以帮助我们高效的完成该功能。布隆过滤器（Bloom Filter）是一种节省空间的概率数据结构，由一个很长的二进制向量和一系列随机映射函数组成，主要用于判断一个元素是否在一个集合中。例如，判断用户名是否可能。
详解布隆过滤器，并教你自己实现一个布隆过滤器
小白菜的博客
10-06 2765
最近在学习Redis缓存穿透等知识的时候看到了布隆过滤器可以用于解决缓存穿透问题，因此对布隆过滤器进行了学习，并记录下此篇笔记。 文章目录如下：一、简介二、布隆过滤器的原理1、添加元素2、判断元素是否在过滤器中三、自己实现一个布隆过滤器 一、简介 根据百度百科可知，布隆过滤器（Bloom Filter）是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比一般的算法要好的多，缺点是有一定的误识别率和删除困
Bloom Filter 概念和原理
weixin_33970449的博客
12-01 116
　　　　Bloom filter 是由 Howard Bloom 在 1970 年提出的二进制向量数据结构，它具有很好的空间和时间效率，被用来检测一个元素是不是集合中的一个成员。如果检测结果为是，该元素不一定在集合中；但如果检测结果为否，该元素一定不在集合中。因此Bloom filter具有100%的召回率。这样每个检测请求返回有“在集合内（可能错误）”和“不在集合内（绝对不在集合内）”两种情况，...
布隆过滤器(Bloom Filter)的原理和实现
05-24
布隆过滤器是一种非常高效的数据结构，用于判断某个元素是否存在于一个集合中。它的基本原理是使用多个哈希函数对元素进行哈希，然后将哈希结果映射到一个位数组中的若干个位置，将这些位置标记为1。当需要查询某个元素是否在集合中时，将该元素进行哈希，判断哈希结果映射到的位数组上的值是否都为1，如果都为1，则说明该元素可能存在于集合中，但如果有任何一个位置为0，则说明该元素一定不存在于集合中。 布隆过滤器的应用场景非常广泛，例如网络爬虫中的URL去重、拼写检查、垃圾邮件过滤等。它的主要优点是占用空间非常小，而且查询速度非常快。 下面是一个简单的布隆过滤器的实现示例： ```python import hashlib class BloomFilter: def __init__(self, m, k): self.m = m # 位数组的长度 self.k = k # 哈希函数的个数 self.bit_array = [0] * m # 初始化位数组 def add(self, key): for i in range(self.k): # 使用不同的哈希函数进行哈希 hash_val = int(hashlib.md5(str(key).encode('utf-8') + str(i).encode('utf-8')).hexdigest(), 16) # 将哈希结果映射到位数组上的若干个位置 pos = hash_val % self.m self.bit_array[pos] = 1 def contains(self, key): for i in range(self.k): hash_val = int(hashlib.md5(str(key).encode('utf-8') + str(i).encode('utf-8')).hexdigest(), 16) pos = hash_val % self.m if self.bit_array[pos] == 0: return False return True ``` 在上述代码中，我们使用了MD5哈希函数对字符串进行哈希，产生一个128位的哈希值，并将其转换为一个整数。然后，我们将这个整数对位数组的长度取模，得到一个在0到`m-1`之间的整数，将位数组上对应的位置标记为1。在查询元素是否存在于集合中时，我们同样对该元素进行k次哈希，并检查位数组上对应的位置是否都为1。如果有任何一个位置为0，则说明该元素一定不存在于集合中。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值