布隆过滤器由一个 bitSet 和 一组 Hash 函数(算法)组成,是一种空间效率极高的概率型算法和数据结构,通过二进制来进行数据存储。在初始化时,bitSet 的每一位被初始化为0。
当数据加入布隆过滤器集合时,流程如下
:
-
经过K个哈希函数计算该数据,返回K个计算出的hash值
-
这些K个hash值映射到对应的K个二进制的数组下标
-
将K个下标对应的二进制数据改为1。
布隆过滤器查询一个key是否在集合中,流程如下
:
-
经过K个哈希函数计算该数据,对应计算出的K个hash值
-
经过hash值找到对应的二进制的数组下标
-
如果存在其中一处位置的二进制数据是0,那么该数据不存在。若是都是1,该数据存在集合中(但由于存在Hash碰撞,
判断数据存在时
可能存在误判)。
布隆过滤器的优缺点
优势
-
因为存储的是二进制数据,因此占用的空间很小;
-
它的插入和查询速度是很是快的,时间复杂度是O(K),能够联想一下HashMap的过程;
-
保密性很好,由于自己不存储任何原始数据,只有二进制数据
缺点
1、存在误判
添加数据是经过计算数据的hash值,hash是存在碰撞的,也就是说,存在两个不一样的数据计算获得相同的hash值。
例如图中的你好
和hello
,假如最终算出hash值相同,那么他们会将同一个下标的二进制数据改成1。因此也无法确定key为你好
和hello
是否存在。
2、删除困难
如上,你好
和hello
的hash值相同,对应的数组下标也是同样的。如果想删除你好
,即将坐标值改为0,可能会影响到其他key,比如是否会连hello
都一块儿删了之类的。
课间休息,来看看群里铁子的组长小姐姐??
作者:W.M.H
======================================================================================
缓存击穿
:指缓存中没有但数据库中有的数据(一般是热点数据缓存时间到期
),这时由于并发用户特别多,同时读缓存没读到数据,又同时去数据库去查,引起数据库压力瞬间增大
,线上系统卡住。
解决方案:
1、加互斥锁(mutex key)
。在并发的多个请求中,只有第一个请求线程能拿到锁并执行数据库查询操作,其他的线程拿不到锁就阻塞等着,等到第一个线程将数据写入缓存后,直接走缓存。
互斥锁
缓存击穿后,多个线程会同时去查询数据库的这条数据,那么我们可以在第一个查询数据的请求上使用一个互斥锁来锁住它。
其他的线程走到这一步拿不到锁就等着,等第一个线程查询到了数据,然后做缓存。后面的线程进来发现已经有缓存了,就直接走缓存。
static Lock reenLock = new ReentrantLock();
public List getData04() throws InterruptedException {
List result = new ArrayList();
// 从缓存读取数据
result = getDataFromCache();
if (result.isEmpty()) {
if (reenLock.tryLock()) {
try {
System.out.println(“拿到锁了,从DB获取数据库后写入缓存”);
// 从数据库查询数据
result = getDataFromDB();
// 将查询到的数据写入缓存
setDataToCache(result);
} finally {
reenLock.unlock();// 释放锁
}
} else {
result = getDataFromCache();// 先查一下缓存
if (result.isEmpty()) {
System.out.println(“我没拿到锁,缓存也没数据,先小憩一下”);
Thread.sleep(100);// 小憩一会儿
return getData04();// 重试
}
}
}
return result;
}
2、热点数据不过期。根据实际业务情况,在Redis中维护一个热点数据表,批量设为永不过期(如top1000),并定时更新top1000数据
。
这种方式适用于比较极端的场景,例如流量特别特别大的场景,使用时需要考虑业务能接受数据不一致的时间,还有就是异常情况的处理,不要到时候缓存刷新不上,一直是脏数据,那就凉了。
课间休息,来看看群里的lsp直呼西瓜真大
的西瓜图~,嗯,确实大!。
作者:好名字可以让我的朋友更容易记住我
===================================================================================
缓存雪崩
:大量的热点 key 设置了相同的过期时间,导在缓存在同一时刻全部失效,造成瞬时数据库请求量大、压力骤增,引起雪崩,甚至导致数据库被打挂。缓存雪崩其实有点像升级版的缓存击穿
,缓存击穿是一个热点 key,缓存雪崩是一组热点 key。
解决方案:
1、过期时间打散
:既然是大量缓存集中失效,那最容易想到就是让他们不集中生效。可以给缓存的过期时间时加上一个随机值时间
,使得每个 key 的过期时间分布开来,不会集中在同一时刻失效。
2、热点数据不过期
:缓存永不过期,异步更新缓存数据
。随不会出现雪崩效应,却无法保证数据的一致性。
3、加互斥锁
:jvm锁机制、分布式锁机制都可以。该方式和缓存击穿一样,按 key 维度加锁,对于同一个 key,只允许一个线程去计算,其他线程原地阻塞等待第一个线程的计算结果,然后直接走缓存即可。
每日小结
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数Java工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年Java开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Java开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且会持续更新!
如果你觉得这些内容对你有帮助,可以扫码获取!!(备注Java获取)
总目录展示
该笔记共八个节点(由浅入深),分为三大模块。
高性能。 秒杀涉及大量的并发读和并发写,因此支持高并发访问这点非常关键。该笔记将从设计数据的动静分离方案、热点的发现与隔离、请求的削峰与分层过滤、服务端的极致优化这4个方面重点介绍。
一致性。 秒杀中商品减库存的实现方式同样关键。可想而知,有限数量的商品在同一时刻被很多倍的请求同时来减库存,减库存又分为“拍下减库存”“付款减库存”以及预扣等几种,在大并发更新的过程中都要保证数据的准确性,其难度可想而知。因此,将用一个节点来专门讲解如何设计秒杀减库存方案。
高可用。 虽然介绍了很多极致的优化思路,但现实中总难免出现一些我们考虑不到的情况,所以要保证系统的高可用和正确性,还要设计一个PlanB来兜底,以便在最坏情况发生时仍然能够从容应对。笔记的最后,将带你思考可以从哪些环节来设计兜底方案。
篇幅有限,无法一个模块一个模块详细的展示(这些要点都收集在了这份《高并发秒杀顶级教程》里),麻烦各位转发一下(可以帮助更多的人看到哟!)
由于内容太多,这里只截取部分的内容。
《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取!
这些要点都收集在了这份《高并发秒杀顶级教程》里),麻烦各位转发一下(可以帮助更多的人看到哟!)
[外链图片转存中…(img-jKzYlqJ6-1713443052136)]
[外链图片转存中…(img-cldpoyrL-1713443052137)]
由于内容太多,这里只截取部分的内容。
《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取!