java过滤器的优点和缺点,最牛一篇布隆过滤器详解

前言

咱们以前讲了Redis的缓存雪崩、穿透、击穿。在文章里咱们说了解决缓存穿透的办法之一,就是布隆过滤器,可是上次并无讲如何使用布隆过滤器。java

做为暖男的老哥,给大家补上,请叫我IT老暖男。web

c2796e4bea380731a50874d6c4284c35.png

什么是布隆过滤器

布隆过滤器(Bloom Filter),是1970年,由一个叫布隆的小伙子提出的,距今已经五十年了,和老哥同样老。redis

它其实是一个很长的二进制向量和一系列随机映射函数,二进制你们应该都清楚,存储的数据不是0就是1,默认是0。算法

主要用于判断一个元素是否在一个集合中,0表明不存在某个数据,1表明存在某个数据。spring

懂了吗?做为暖男的老哥在给大家画张图来帮助理解:数组

2af6b6615670693cd5c54246d2dcaa29.png

布隆过滤器用途

解决Redis缓存穿透(今天重点讲解)缓存

在爬虫时,对爬虫网址进行过滤,已经存在布隆中的网址,不在爬取。微信

垃圾邮件过滤,对每个发送邮件的地址进行判断是否在布隆的黑名单中,若是在就判断为垃圾邮件。数据结构

以上只是简单的用途举例,你们能够触类旁通,灵活运用在工做中。编辑器

布隆过滤器原理

存入过程

布隆过滤器上面说了,就是一个二进制数据的集合。当一个数据加入这个集合时,经历以下洗礼(这里有缺点,下面会讲):

经过K个哈希函数计算该数据,返回K个计算出的hash值

这些K个hash值映射到对应的K个二进制的数组下标

将K个下标对应的二进制数据改为1。

例如,第一个哈希函数返回x,第二个第三个哈希函数返回y与z,那么:X、Y、Z对应的二进制改为1。

如图所示:

a79be4ec421602730e0b38ff5b1d63a9.png

查询过程

布隆过滤器主要做用就是查询一个数据,在不在这个二进制的集合中,查询过程以下:

经过K个哈希函数计算该数据,对应计算出的K个hash值

经过hash值找到对应的二进制的数组下标

判断:若是存在一处位置的二进制数据是0,那么该数据不存在。若是都是1,该数据存在集合中。(这里有缺点,下面会讲)

删除过程

通常不能删除布隆过滤器里的数据,这是一个缺点之一,咱们下面会分析。

布隆过滤器的优缺点

优势

因为存储的是二进制数据,因此占用的空间很小

它的插入和查询速度是很是快的,时间复杂度是O(K),能够联想一下HashMap的过程

保密性很好,由于自己不存储任何原始数据,只有二进制数据

缺点

这就要回到咱们上面所说的那些缺点了。

添加数据是经过计算数据的hash值,那么颇有可能存在这种状况:两个不一样的数据计算获得相同的hash值。

7cc7f568fc0beeffff1bdd1064f3a263.png

例如图中的“你好”和“hello”,假如最终算出hash值相同,那么他们会将同一个下标的二进制数据改成1。

这个时候,你就不知道下标为2的二进制,究竟是表明“你好”仍是“hello”。

由此得出以下缺点:

1、存在误判

假如上面的图没有存"hello",只存了"你好",那么用"hello"来查询的时候,会判断"hello"存在集合中。

由于“你好”和“hello”的hash值是相同的,经过相同的hash值,找到的二进制数据也是同样的,都是1。

2、删除困难

到这里我不说你们应该也明白为何吧,做为大家的暖男老哥,仍是讲一下吧。

仍是用上面的举例,由于“你好”和“hello”的hash值相同,对应的数组下标也是同样的。

这时候老哥想去删除“你好”,将下标为2里的二进制数据,由1改为了0。

那么咱们是否是连“hello”都一块儿删了呀。(0表明有这个数据,1表明没有这个数据)

到这里是否是对布隆过滤器已经明白了,都说了我是暖男。

2fa9ef5de61fea1dbafe3f9b66d20cf5.png

实现布隆过滤器

有不少种实现方式,其中一种就是Guava提供的实现方式。

1、引入Guava pom配置

com.google.guava

guava

29.0-jre

2、代码实现

这里咱们顺便测一下它的误判率。

import com.google.common.hash.BloomFilter;

import com.google.common.hash.Funnels;

public class BloomFilterCase{

/**

* 预计要插入多少数据

*/

private static int size = 1000000;

/**

* 指望的误判率

*/

private static double fpp = 0.01;

/**

* 布隆过滤器

*/

private static BloomFilter bloomFilter = BloomFilter.create(Funnels.integerFunnel(), size, fpp);

public static void main(String[] args){

// 插入10万样本数据

for (int i = 0; i 

bloomFilter.put(i);

}

// 用另外十万测试数据,测试误判率

int count = 0;

for (int i = size; i 

if (bloomFilter.mightContain(i)) {

count++;

System.out.println(i + "误判了");

}

}

System.out.println("总共的误判数:" + count);

}

}

运行结果:

c362f258a8e728812b9b1fb7bdce8b18.png

10万数据里有947个误判,约等于0.01%,也就是咱们代码里设置的误判率:fpp = 0.01。

深刻分析代码

核心BloomFilter.create方法

@VisibleForTesting

static  BloomFilter create(

Funnel super T> funnel, long expectedInsertions, double fpp, Strategy strategy){

。。。。

}

这里有四个参数:

funnel:数据类型(通常是调用Funnels工具类中的)

expectedInsertions:指望插入的值的个数

fpp:误判率(默认值为0.03)

strategy:哈希算法

咱们重点讲一下fpp参数

fpp误判率

情景一:fpp = 0.01

误判个数:947

66ce170a2538f10608447c68bb0f640f.png

占内存大小:9585058位数

86b7f33a7c1b795e29f43c6fbb894205.png

情景二:fpp = 0.03(默认参数)

误判个数:3033

869514912f46f0acbdbd434903759e44.png

占内存大小:7298440位数

92324a62997123124242b29d6ccc48d1.png

情景总结

误判率能够经过fpp参数进行调节

fpp越小,须要的内存空间就越大:0.01须要900多万位数,0.03须要700多万位数。

fpp越小,集合添加数据时,就须要更多的hash函数运算更多的hash值,去存储到对应的数组下标里。(忘了去看上面的布隆过滤存入数据的过程)

上面的numBits,表示存一百万个int类型数字,须要的位数为7298440,700多万位。理论上存一百万个数,一个int是4字节32位,须要481000000=3200万位。若是使用HashMap去存,按HashMap50%的存储效率,须要6400万位。能够看出BloomFilter的存储空间很小,只有HashMap的1/10左右

上面的numHashFunctions表示须要几个hash函数运算,去映射不一样的下标存这些数字是否存在(0 or 1)。

解决Redis缓存雪崩

上面使用Guava实现的布隆过滤器是把数据放在了本地内存中。分布式的场景中就不合适了,没法共享内存。

咱们还能够用Redis来实现布隆过滤器,这里使用Redis封装好的客户端工具Redisson。

其底层是使用数据结构bitMap,你们就把它理解成上面说的二进制结构,因为篇幅缘由,bitmap不在这篇文章里讲,咱们以后写一篇文章介绍。

代码实现

pom配置:

org.redisson

redisson-spring-boot-starter

3.13.4

java代码:

public class RedissonBloomFilter{

public static void main(String[] args){

Config config = new Config();

config.useSingleServer().setAddress("redis://127.0.0.1:6379");

config.useSingleServer().setPassword("1234");

//构造Redisson

RedissonClient redisson = Redisson.create(config);

RBloomFilter bloomFilter = redisson.getBloomFilter("phoneList");

//初始化布隆过滤器:预计元素为100000000L,偏差率为3%

bloomFilter.tryInit(100000000L,0.03);

//将号码10086插入到布隆过滤器中

bloomFilter.add("10086");

//判断下面号码是否在布隆过滤器中

//输出false

System.out.println(bloomFilter.contains("123456"));

//输出true

System.out.println(bloomFilter.contains("10086"));

}

}

因为Guava那个版本,咱们已经很详细的讲了布隆过滤器的那些参数,这里就不重复赘述了。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值