面试造火箭,工作拧螺丝的典型。
很多公司(尤其是小公司)根本就接触不到高并发的项目,但面试中却回!回!都!爱!考!
我总结了一些面试中考到高并发/性能调优的题目:
- 字节跳动后端一面:说一说淘宝系统如何处理高并发下客户请求
- 小米大数据开发二面:高并发中concurrenthashmap和hashmapd的区别
- 阿里巴巴Java工程师二面:如何设计双11交易总额面板,要做到高并发高可用?
- Shopee后台开发一面:高并发秒杀项目怎么保证不会超卖?
- 百度测试开发工程师三面:是否了解jvm调优,是否有在自己的项目中进行jvm调优
- 支付宝Java工程师三面:数据库性能调优如何做?
而没有高并发项目经验是大多数人的硬伤,这里我推荐你去接触一下电商秒杀系统这个项目。项目由TMD高级架构师欧阳修老师讲解,9天时间将秒杀系统的15个核心技术点一一解剖,亲自打造一个高并发读写、高性能、高可用的系统架构。
现在为回馈知友,特别开放首节免费试听,你可以通过业务讲解了解秒杀系统的设计流程。
抛砖引玉,我这里重点介绍一下如何实现秒杀系统的基本功能,随后还会介绍:
- 秒杀系统的项目环境搭建
- 如何处理秒杀系统的高并发
- 有限库存,如何防止超卖?
- 如何保障系统稳定和高可用?
首先,用1张流程图简单展示秒杀系统的业务流程(不涉及技术层面),各位可以自动带入淘宝/京东/拼多多的双十一秒杀活动。
接下来聊聊如何实现这些功能。
如何解决瞬时大流量高并发?
电商系统一般会设置整点秒杀,如0元抢购、无门槛优惠券等,每逢双十一,就有很多人在朋友圈吐槽淘宝提交订单后转了半天转不出来,转出来后库存已经为0,这是用户的痛点,也是程序员的技术难点。
**因为设置了整点秒杀后,一旦优惠力度较大,大量用户会在同一时间抢购,网站流量瞬间激增。**服务器、数据库等能承载的 QPS 有限,如数据库一般是单机 1000 QPS,一旦超过了承载值,网站就有可能崩溃。
如鹿晗和关晓彤官宣时导致微博瘫痪,就是个很典型的例子。
解决瞬时大流量高并发的核心思想是分层过滤,分而治之。即在不同的层次尽可能地过滤掉无效请求,让“漏斗”最末端的才是有效请求。
具体方法:
1.页面静态化(Static Page Technology)
秒杀页面由商品信息和前端页面资源组成,前后端分离,页面资源不会经过后端服务器,将前端资源,放入CDN服务器中。简单来说就是将前端的页面资源放在另一个“篮子”里,不跟秒杀服务器抢“位置”,使用户就近获取所需内容,降低网络拥塞,提高用户访问响应速度和命中率。
2.缓存预热( Cache Warm-up )
说人话,将部分业务逻辑写到缓存里,不需要直接读数据库,来减少数据库服务器的压力,这样访问速度会更快。
比如在秒杀活动开始前,提前将设置好秒杀的商品信息、限购数量,库存数量等写入Redis中,同样是减少服务器压力的方式。
3.异步(Asynchronous)化
异步化主要通过消息队列实现。
消息队列是基于生产者(Producer)/消费者(Consumer)模型的组件,用于实现两个不同的系统之间的解耦和异步 (Asynchronous) 操作。生产者可以高速地向消息队列中投递(生产)消息,消费者可以按照自己的节奏去消费生产者投递的消息。
消息队列一般带有重试的能力。可以持续投递,直到消费者消费成功。
说人话,不断重复尝试,直到订单提交购买成功。
4.削峰值填谷(Peak Load Shifting)
因为 Redis 和 MySQL 处理能力的巨大差异。实际下沉到 MySQL 的量还是巨大,MySQL 无法承受。 一瞬间大量的抢购成功,创建订单请求,对创建订单服务压力过大,会去操作mysql数据库 无法及时处理创建订单请求,导致系统故障。
解决方案依旧是异步化思想,通过消息中间件来削峰填谷,将请求先发往消息队列中,订单服务端根据自己能力再去消费并创建订单。
有限库存,如何防止超卖?
一般来说,秒杀商品都是低价限量,而访问的数量远远大于库存数量,只有极少数人成功。如果卖出的东西超出了库存,就是超卖。
一般来说扣减库存的流程是这样的:
**读取库存表,判断库存,然后扣减库存,**然而在秒杀瞬间大流量并发请求数据库,可能会导致数据库崩溃。
因为秒杀的本质,就是对库存的抢夺。每个秒杀的用户来都去数据库查询库存校验库存,然后扣减库存,就可能导致数据库崩溃。
而MySQL 数据库单点能支撑 1000 QPS,但是 Redis 单点能支撑 10万 QPS。因此我们可以将库存信息加载到Redis中,将MySQL的访问压力转移到Redis上,直接通过 Redis 来判断并扣减库存。
**实际上,微博、阿里巴巴、百度、美团、拼多多等都在使用Redis。**Redis如今是互联网项目的标配,在面试中非常高频被问到。 使用Redis的原理是:
- 缓存库存信息,大部分数据读取请求都被 Redis 挡住了,保护了MySQL
- 检查 Redis 库存和扣减 Redis 库存是两步操作,通过Lua脚本将这两步操作,合并成一个整体,保证原子操作性
- 哪怕 Redis 侧方行,可以创建订单了,到 MySQL 的时候也需要再检查一次。
关于如何保证系统稳定和高可用、系统设计的原则、Redis和秒杀流程的知识点和技术难点,TMD高级架构师欧阳修在秒杀项目实战都讲得很清楚了,感兴趣的小伙伴可以去免费试听一下。