布隆过滤器

布隆过滤器


  • 在看此文时强烈希望同仁们能看看散列(哈希)查找这篇文章,对散列查找理解掌握!
  • 此文乃对书籍和博客的总结而成!

(一).题目与分析

首先我们来看一个大数据和空间限制的题目

【题目】不安全网页的黑名单里有100亿个数据,每一个网页的URL最多占用64B。要求实现一种过滤系统,可以根据网页的URL判断是否在这个黑名单中。系统允许有万分之一的失误率。且额外的空间不能超过30GB。

如果把所有数据用哈希表存储,那么至少需要100亿*64B 约等于640亿(记住10亿B约等于1G)。不满足要求!

在遇到网页黑名单系统、垃圾邮件过滤系统、爬虫的网址判重系统等问题,又看到系统容忍一定程度的失误率但是对空间要求比较严格时,我们应该想到布隆过滤器!

布隆过滤器代表一个集合,并且可以精确地判断一个元素是否在集合中。

散列(哈希)查找这篇文章详细讲述哈希函数如何设计,产生冲突后应如何解决冲突!接下来我再稍微介绍一下哈希函数的概念:

哈希函数它是个函数,就对应的有输入域和输出域,它的输入域可以是非常大的范围,比如URL,字符串。但是输出域是固定的,假设为D。

1、典型的哈希函数有无限的输入域

2、哈希函数输入相同值,返回相同的值(比如当我们将有重复出现的值进行哈希到不同的文件时,重复的数就不会到其他文件中)

3、哈希函数输入不同值,返回值可能相同,也可能不同(哈希冲突)

4、很多不同的输入值所得到的返回值均匀的分部在D上。

(二).介绍布隆过滤器

首先我们来看一下什么是布隆过滤器:
1.假设一个长度为m的bit类型的数组,把bit类型的数组称为bitMap,即数组的每一个位置只占一个bit,(一个bit只有0或1俩种状态)。

2.假设有k个相互独立且足够优秀(指哈希值分布均匀)的哈希函数。

这里写图片描述

一个输入值经过k个哈希函数后,得到了k个哈希值再%m后将这个值映射到这个bit数组中,有的就涂黑。所给的题就是将100亿个值依次经过上述过程将bit数组涂黑(置为1)。过后将一个网页的URL经过k个哈希函数得到的k个值对应的bit数组是否被涂黑,若涂黑了就认为在黑名单中,如果没有涂黑就肯定不在黑名单中。当然如果m的长度不够长则会导致bit数组全被涂黑。所以这个方法是有一定的错误率的。“宁可错杀三千,不能放过一个”。

读者可以注意到bitMap的大小m对于输入对象的个数n过小,失误率会过大!在此题中我们已知输入对象n,对象n的大小和失误率。每个样本的大小只和哈希函数有关,使用布隆过滤器时可以不用考虑样本大小。

m和哈希函数的数量k为假设,我们需要求出!具体方法看下图:

这里写图片描述

概要介绍: 本课程主要是介绍并实战一款java中间件~redisson,介绍redisson相关的核心技术栈及其典型的应用场景,其中的应用场景就包括布隆过滤器、限流器、短信发送、实时/定时邮件发送、数据字典、分布式服务调度等等,在业界号称是在java项目里正确使用redis的姿势。本课程的目标就在于带领各位小伙伴一起学习、攻克redisson,更好地巩固自己的核心竞争力,而至于跳槽涨薪,自然不在话下!  课程内容: 说起redisson,可能大伙儿不是很熟悉,但如果说起redis,想必肯定很多人都晓得。没错,这家伙字如其名,它就是架设在redis基础上的一款综合性的、新型的中间件,号称是java企业级应用开发中正确使用redis的姿势/客户端实例。 它是架设在redis基础之上,但拥有的功能却远远多于原生Redis 所提供的,比如分布式对象、分布式集合体系、分布式锁以及分布式服务调度等一系列具有分布式特性的对象实例… 而这些东西debug将在本门课程进行淋漓尽致的介绍并实战,除此之外,我们将基于spring boot2.0搭建的多模块项目实战典型的应用场景:对象存储、数据字典、短信发送、实时/定时邮件发送、布隆过滤器、限流组件、分布式服务调度....课程大纲如下所示: 下面罗列一下比较典型的核心技术栈及其实际业务场景的实战,如下图所示为redisson基于订阅-发布模式的核心技术~主题Topic的实际业务场景,即实时发送邮件: 而下图则是基于“多值映射MultiMap”数据结构实战实现的关于“数据字典”的缓存管理: 除此之外,我们还讲解了可以与分布式服务调度中间件dubbo相媲美的功能:分布式远程服务调度,在课程中我们动手搭建了两个项目,用于分别充当“生产者”与“消费者”角色,最终通过redisson的“服务调度组件”实现服务与服务之间、接口与接口之间的调用!  课程收益: (1)认识并掌握redisson为何物、常见的几种典型数据结构-分布式对象、集合、服务的应用及其典型应用场景的实战; (2)掌握如何基于spring boot2.0整合redisson搭建企业级多模块项目,并以此为奠基,实战企业级应用系统中常见的业务场景,巩固相应的技术栈! (3)站在项目管理与技术精进的角度,掌握对于给定的功能模块进行业务流程图的绘制、分析、模块划分、代码实战与性能测试和改进,提高编码能力与其他软实力; (4)对于Java微服务、分布式、spring boot精进者而言,学完本课程,不仅可以巩固提高中间件的实战能力,其典型的应用场景更有助于面试、助力相关知识点的扫盲! 如下图所示: 关键字:Spring Boot,Redis,缓存穿透,缓存击穿,缓存雪崩,红包系统,Mybatis,高并发,多线程并发编程,发送邮件,列表List,集合Set,排行榜,有序集合SortedSet,哈希Hash ,进阶实战,面试,微服务、分布式 适用人群:redisson学习者,分布式中间件实战者,微服务学习者,java学习者,spring boot进阶实战者,redis进阶实战者
©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页