Java高可用架构设计-【春晚大流量高并发】

场景一 春晚大流量高并发

https://www.toutiao.com/article/7087738138654704131/?log_from=036bdb534fca5_1650254671454

前端接入CDN

在全国各地都搞一批服务器，然后呢，让CDN提前请求我们的后端系统，把一些图片、视频一类的静态资源都加载到 全国各地的CDN服务器上去。

接着呢，全国各地的用户打卡手机APP，想要加载图片和视频的时候，就近找一个距离自己最近的CDN服务器加载图片和视频就可以了，这样就可以让超高流量分散到全国各地的很多CDN服务器上去了，大家看下图

基于Nginx+tomcat+redis的多级缓存读方案

就是说全国各地用户还是得发送大量的请求到我们后台系统来加载一些数据，那么对于这种高并发的数据读取该怎么来抗呢？简单，上一套多级缓存架构，我们可以在tomcat前面加一层nginx反向代理服务器，在nginx里可以基于lua脚本自己写代码，然后在nginx的内存里可以基于LRU策略缓存一些热门数据。

然后如果是nginx里 没有缓存到的数据，可以在我们的业务系统tomcat里用本地cache，比如说guava就可以提供本地缓存cache，同样基于LRU策略缓存一些数据，最后就是如果tomcat本地缓存里也没有，就可以去redis分布式缓存集群里加载缓存数据。

基本上通过ngxin+tomcat+redis三级缓存架构，就可以把高并发读取的流量全部抗下来了，如下图

超高并发写请求RocketMQ削峰填谷方案

首先第一个是机器扩容，因为如果有大流量的数据写入，那确实咱们平时的业务系统部署的机器数量可能是不够多的，所以往往再抗这种大活动的时候，得临时扩容一批机器出来，这是第一。

第二，一般来说这种大流量数据写入，往往会采取让我们业务系统收到请求后，先写入到redis缓存里去，然后写一个消息到rocketmq里去，接着再从rocketmq里消费消息后异步落入db里去，因为数据库能抗的写入压力是有限的，大并发流量写入是不适合他的，所以往往会用这种方式来做一个处理，同样的机器配置，redis和rocketmq可以抗几万并发，mysql只能抗几千并发。

所以此时，架构如下图所示。

系统限流防雪崩体系架构方案

最后呢，其实还应该再加一个机制，那就是限流，因为在上述这套架构上线以前，应该对这套架构通过三级缓存可以抗多大读流量压力，以及基于写入redis+rocketmq异步写db，可以抗多大写流量压力，包括临时扩容一批机器后，整体全链路大致可以抗多大的读写TPS，这些都得通过全链路压测去测试出来。

然后应该根据这个系统能整体抗的最大读写压力，在nginx那一层加入限流机制，一旦要是每秒流量超过了最大值，此时直接限流，不允许继续放行，避免系统被压垮，如下图所示。

转自https://www.toutiao.com/article/7087738138654704131/?log_from=036bdb534fca5_1650254671454