先自我介绍一下,小编浙江大学毕业,去过华为、字节跳动等大厂,目前阿里P7
深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年最新Java开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上Java开发知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
如果你需要这些资料,可以添加V获取:vip1024b (备注Java)
正文
单粗暴,但是有效,比如10万人抢100个iPhone,只要能提前预测有大概1万以上的人参与(通过资格确认、报名等方式收集信息),那么直接请求进来以后随机挡回去
99%的流量都没有啥问题。
优化吞吐
中间有段时间,提前准备一大批机器,服务化、分库分表搞定后端性能,让前端业务可以加一定量的机器,然后搞稳定性,依赖关系,容量规划,做弹性,提升吞吐量。
异步队列
使用可堆积的消息队列或内存消息队列。若抢单具有强顺序,则先都进队列,然后拿前N (就是库存数)个出来平滑处理,剩下都可作为失败进行批处理,甚至还可以做一个定长队列,再往里写直接提示失败。队列把并发变成串行,从而去掉了分布式锁。
内存分配
某些业务可以考虑预热,提前在每个机器节点内存分配好库存数,然后直接在内存处理库存数。
拆分扩展
对于不同类型、不同商家、不同来源的商品,部署不同的前端促销集群,
分散压力。比如,按每个整点发起秒杀,具体到每个商家,其实量就不大了。
服务降级
越重要的抢单,大家越关心自己有没有抢到,而不是特别在意订单立即处
理完,也就是说,下单占到位置比处理完成订单要更有价值。比如12306春运抢票,只要告诉用户你抢到了票,但预计1个小时后订单才会处理完,用户有这个明确预期即可。用户不会立马使用这张票,也不会在意1min还是1h内处理完。
部分方案会导致销售不足或超卖:
-
销售不足可以从抢购里加一些名单补发,也可以加一轮秒杀
-
超卖比较麻烦,所以一般会多备一点货,比如抢100个iPhone,提前准备110 个
因为用户查询的是少量的商品数据,属查询热点数据,可采用缓存将请求尽量挡在上层缓存,能被静态化的数据(比如商城里的图片和视频数据)尽量做到静态化,这就可命中CDN节点缓存,减少Web服务器的查询量和带宽负担。Web服务器比如Nginx可以直接访问分布式缓存节点,从而避免请求到达Tomcat等业务服务器。
当然,你可以加上一些限流的策略,比如对短时间之内来自某一个用户、某一个IP或者某一台设备的重复请求做丢弃处理。
通过这几种方式,请求就可以尽量挡在数据库之外了。
稍微缓解了读请求之后,00:00分秒杀活动准时开始,用户瞬间向电商系统请求生成订单,扣减库存,用户的这些写操作都是不经过缓存直达数据库的。1秒钟之内,有1万个数据库连接同时达到,系统的数据库濒临崩溃,寻找能够应对如此高并发的写请求方案迫在眉睫。这时你想到了消息队列。
理解消息队列
把消息队列看作暂时存储数据的一个容器,它是一个平衡低速系统和高速系统处理任务时间差的工具。
比如古代臣子朝见皇上陈述国家大事,等皇上决策。但大臣很多,如果同时去找皇上,皇上肯定会崩溃。后来变成臣子到午门后要原地等皇上将他们一个一个地召见进大殿商议,这就缓解皇上处理事情的压力。
可以把午门看作一个暂时容纳臣子的容器,即消息队列:
-
在Java线程池中我们就会使用一个队列来暂时存储提交的任务,等待有空闲的线程处理这些任务
-
os中断的下半部分也会使用工作队列来实现延后执行
-
实现一个RPC框架时,也会将从网络上接收到的请求写到队列里,再启动若干个工作线程来处理
那如何用消息队列解决秒杀场景下的问题呢?
削去秒杀场景下的峰值写流量
在秒杀场景下短时间之内数据库的写流量很高,按以前思路,应该分库分表。若已做了分库分表,则需要扩展更多数据库应对更高写流量。
但无论是分库分表还是扩充更多数据库都会很复杂,因为你需要迁移数据库中的数据,这个时间就要按天甚至周计算。
而在秒杀场景下高并发的写请求并不是持续的,也不是经常发生,而只有在秒杀活动开始后的几s或十几s时间内才存在。
为了应对这十几s瞬间写高峰,而去花费几天甚至几周扩容DB,再在秒杀之后花费几天做缩容,得不偿失!
所以思路是:将秒杀请求暂存在MQ,然后业务服务器会响应用户“秒杀结果正在计算”,释放了系统资源之后再处理其它用户请求。
在后台启动若干个队列处理程序消费MQ中的消息,再执行校验库存、下单等逻辑。因为只有有限个队列处理线程在执行,所以落入后端DB上的并发请求有限。而请求是可以在MQ被短暂堆积,当库存被消耗完后,消息队列中堆积的请求就可以被丢弃了。
这就是MQ在秒杀系统中主要作用:削峰填谷,可以削平短暂流量高峰,虽说堆积会造成请求被短暂延迟处理,但只要我们时刻监控MQ中的堆积长度,在堆积量超过一定量时,增加队列处理机数量来提升消息处理能力即可,而且秒杀用户对于短暂延迟知晓秒杀的结果也有一定容忍度。
注意是“短暂”延迟,若长时间没有给用户公示秒杀结果,则用户会怀疑秒杀活动有黑幕。所以在使用MQ应对流量峰值时,需要对队列处理的时间、前端写入流量的大小、数据库处理能力做好评估,然后根据不同的量级来决定部署多少台队列处理程序。
比如你的秒杀商品有1000件,处理一次购买请求的时间是500ms,那么总共就需要500s的时间。这时你部署10个队列处理程序,那么秒杀请求的处理时间就是50s,也就是说用户需要等待50s才可以看到秒杀的结果,这是可以接受的。这时会并发10个请求到达数据库,并不会对数据库造成很大的压力。
通过异步处理简化秒杀请求中的业务流程
其实在大量的写请求“攻击”你的电商系统的时候,消息队列除了发挥主要的削峰填谷的作用之外,还可以实现异步处理来简化秒杀请求中的业务流程,提升系统的性能。
你想,在刚才提到的秒杀场景下,我们在处理购买请求时需要500ms。这时你分析了一下整个的购买流程,发现这里面会有主要的业务逻辑,也会有次要的业务逻辑:比如说,主要的流程是生成订单、扣减库存;次要的流程可能是我们在下单购买成功之后会给用户发放优惠券,会增加用户的积分。
假如发放优惠券的耗时是50ms,增加用户积分的耗时也是50ms,那么如果我们将发放优惠券、增加积分的操作放在另外一个队列处理机中执行,那么整个流程就缩短到了400ms,性能提升了20%,处理这1000件商品的时间就变成了400s。如果我们还是希望能在50s之内看到秒杀结果的话,只需要部署8个队列程序就好了。
经过将一些业务流程异步处理之后,我们的秒杀系统部署结构也会有所改变:
解耦实现秒杀系统模块之间松耦合
除了异步处理和削峰填谷以外,消息队列在秒杀系统中起到的另一个作用是解耦合。
比如数据团队对你说,在秒杀活动之后想要统计活动的数据,借此来分析活动商品的受欢迎程度、购买者人群的特点以及用户对于秒杀互动的满意程度等等指标。而我们需要将大量的数据发送给数据团队,那么要怎么做呢?
一个思路是:使用HTTP或者RPC的方式来同步地调用,也就是数据团队这边提供一个接口,我们实时将秒杀的数据推送给它,但是这样调用会有两个问题:
整体系统的耦合性比较强,当数据团队的接口发生故障时,会影响到秒杀系统的可用性。
当数据系统需要新的字段,就要变更接口的参数,那么秒杀系统也要随着一起变更。
这时,我们可以考虑使用消息队列降低业务系统和数据系统的直接耦合度。
秒杀系统产生一条购买数据后,我们可以先把全部数据发送给消息队列,然后数据团队再订阅这个消息队列的话题,这样它们就可以接收到数据,然后再做过滤和处理了。
秒杀系统在这样解耦合之后,数据系统的故障就不会影响到秒杀系统了,同时当数据系统需要新的字段时,只需要解析消息队列中的消息,拿到需要的数据就好了。
异步处理、解耦合和削峰填谷是消息队列在秒杀系统设计中起到的主要作用,其中异步处理可以简化业务流程中的步骤,提升系统性能;削峰填谷可以削去到达秒杀系统的峰值流量,让业务逻辑的处理更加缓和;解耦合可以将秒杀系统和数据系统解耦开,这样两个系统的任何变更都不会影响到另一个系统,
如果你的系统想要提升写入性能实现系统的低耦合,想要抵挡高并发的写流量,那么你就可以考虑使用消息队列来完成。
课程小结
本节课,我结合自己的实际经验,主要带你了解了消息队列在高并发系统设计中起到的作用以及一些注意事项,你需要了解的重点如下:
总结
我个人认为,如果你想靠着背面试题来获得心仪的offer,用癞蛤蟆想吃天鹅肉形容完全不过分。想必大家能感受到面试越来越难,想找到心仪的工作也是越来越难,高薪工作羡慕不来,却又对自己目前的薪资不太满意,工作几年甚至连一个应届生的薪资都比不上,终究是错付了,错付了自己没有去提升技术。
这些面试题分享给大家的目的,其实是希望大家通过大厂面试题分析自己的技术栈,给自己梳理一个更加明确的学习方向,当你准备好去面试大厂,你心里有底,大概知道面试官会问多广,多深,避免面试的时候一问三不知。
大家可以把Java基础,JVM,并发编程,MySQL,Redis,Spring,Spring cloud等等做一个知识总结以及延伸,再去进行操作,不然光记是学不会的,这里我也提供一些脑图分享给大家:
希望你看完这篇文章后,不要犹豫,抓紧学习,复习知识,准备在明年的金三银四拿到心仪的offer,加油,打工人!
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
需要这份系统化的资料的朋友,可以添加V获取:vip1024b (备注Java)
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。**
需要这份系统化的资料的朋友,可以添加V获取:vip1024b (备注Java)
[外链图片转存中…(img-BnLKKGQ3-1713437010110)]
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!