高并发应用场景和解决方案

高并发，几乎是每个程序员都想拥有的经验。原因很简单：随着流量变大，会遇到各种各样的技术问题，比如接口响应超时、CPU load升高、GC频繁、死锁、大数据量存储等等，这些问题能推动我们在技术深度上不断精进。

在过往的面试中，如果候选人做过高并发的项目，我通常会让对方谈谈对于高并发的理解，但是能系统性地回答好此问题的人并不多，大概分成这样几类：

1、对数据化的指标没有概念：不清楚选择什么样的指标来衡量高并发系统？分不清并发量和QPS，甚至不知道自己系统的总用户量、活跃用户量，平峰和高峰时的QPS和TPS等关键数据。

2、设计了一些方案，但是细节掌握不透彻：讲不出该方案要关注的技术点和可能带来的副作用。比如读性能有瓶颈会引入缓存，但是忽视了缓存命中率、热点key、数据一致性等问题。

3、理解片面，把高并发设计等同于性能优化：大谈并发编程、多级缓存、异步化、水平扩容，却忽视高可用设计、服务治理和运维保障。

4、掌握大方案，却忽视最基本的东西：能讲清楚垂直分层、水平分区、缓存等大思路，却没意识去分析数据结构是否合理，算法是否高效，没想过从最根本的IO和计算两个维度去做细节优化。

这篇文章，我想结合自己的高并发项目经验，系统性地总结下高并发需要掌握的知识和实践思路，希望对你有所帮助。内容分成以下3个部分：

如何理解高并发？
高并发系统设计的目标是什么？
高并发的实践方案有哪些？

一、高并发、高性能技术解决方案
1、多高的并发才算高并发？
这需要结合具体的场景和资源投入。

比如说，1万QPS的商品列表查看，这不属于高并发，稍微结合缓存即可实现。
比如说，5K的TPS下单接口，就属于高并发。

基本上读并发都可以通过缓存来解决，写并发的解决才相对比较难。

2、水平扩展
无状态的业务，可以通过水平扩展（Scale Out），只要增加服务器的数量，就能线性的扩充系统性能。

但是整个系统，整个链路，由于木桶的短板效应，并不是都可以通过增加服务器的数量提高性能的。
全链路的水平扩展很难，因为有状态的业务（数据库等）。

但是一些全链路都是无状态的服务，是可以通过水平扩容的方式提高性能的。
比如视频的编解码服务（依赖机器内存、CPU）就可以无限的水平扩展。

再比如短信服务，运营商对一个ip，每秒最大允许几百次请求，运营商这里就成了性能瓶颈（可以扩ip、多帐号）。

3、负载均衡思想
负载均衡有很多算法：轮询、随机、加权轮询、节点固定hash等。

全链路可以用到负载均衡的地方很多：
网络DNS解析IP轮询；
网关分发请求后端服务；
应用服务内部RPC、Feign调用；
数据存储，分库分表。

4、缓存思想，多级缓存
前端浏览器会缓存静态资源；
网络DNS解析缓存；
应用程序使用 本地缓存（JVM）/分布式缓存（Redis）。
数据存储MySql Query Cache。

5、池化复用思想
池化思想：线程池、对象池、连接池、内存池等等。基本用的就是单例模式/享元模式。

比如：
java线程池；
jdbc、redis、httpClient连接池；
SpringIOC容器对象池；
Integer对象的内存池。

6、异步思想
多线程/消息队列；
前端ajax异步请求；
RockerMQ/Kafka同步双写-异步刷盘；
应用程序多线程异步处理。

7、预处理-惰性更新思想
定时任务/懒加载。

报表数据通过定时任务提前计算好，定期刷新。
缓存预加载。

8、分而治之思想
Master-Worker思想。

Handoop中的MapReduce；
JDK fork/join；
消息队列的广播消息；
归并排序等。

二、具体的实践方案

高性能的实践方案

1、集群部署，通过负载均衡减轻单机压力。

2、多级缓存，包括静态数据使用CDN、本地缓存、分布式缓存等，以及对缓存场景中的热点key、缓存穿透、缓存并发、数据一致性等问题的处理。

3、分库分表和索引优化，以及借助搜索引擎解决复杂查询问题。

4、考虑NoSQL数据库的使用，比如HBase、TiDB等，但是团队必须熟悉这些组件，且有较强的运维能力。

5、异步化，将次要流程通过多线程、MQ、甚至延时任务进行异步处理。

6、限流，需要先考虑业务是否允许限流（比如秒杀场景是允许的），包括前端限流、Nginx接入层的限流、服务端的限流。

7、对流量进行削峰填谷，通过MQ承接流量。

8、并发处理，通过多线程将串行逻辑并行化。

9、预计算，比如抢红包场景，可以提前计算好红包金额缓存起来，发红包时直接使用即可。

10、缓存预热，通过异步任务提前预热数据到本地缓存或者分布式缓存中。

11、减少IO次数，比如数据库和缓存的批量读写、RPC的批量接口支持、或者通过冗余数据的方式干掉RPC调用。

12、减少IO时的数据包大小，包括采用轻量级的通信协议、合适的数据结构、去掉接口中的多余字段、减少缓存key的大小、压缩缓存value等。

13、程序逻辑优化，比如将大概率阻断执行流程的判断逻辑前置、For循环的计算逻辑优化，或者采用更高效的算法。

14、各种池化技术的使用和池大小的设置，包括HTTP请求池、线程池（考虑CPU密集型还是IO密集型设置核心参数）、数据库和Redis连接池等。

15、JVM优化，包括新生代和老年代的大小、GC算法的选择等，尽可能减少GC频率和耗时。

16、锁选择，读多写少的场景用乐观锁，或者考虑通过分段锁的方式减少锁冲突。

上述方案无外乎从计算和 IO 两个维度考虑所有可能的优化点，需要有配套的监控系统实时了解当前的性能表现，并支撑你进行性能瓶颈分析，然后再遵循二八原则，抓主要矛盾进行优化。

高可用的实践方案

1、对等节点的故障转移，Nginx和服务治理框架均支持一个节点失败后访问另一个节点。

2、非对等节点的故障转移，通过心跳检测并实施主备切换（比如redis的哨兵模式或者集群模式、MySQL的主从切换等）。

3、接口层面的超时设置、重试策略和幂等设计。

4、降级处理：保证核心服务，牺牲非核心服务，必要时进行熔断；或者核心链路出问题时，有备选链路。

5、限流处理：对超过系统处理能力的请求直接拒绝或者返回错误码。

6、MQ场景的消息可靠性保证，包括producer端的重试机制、broker侧的持久化、consumer端的ack机制等。

7、灰度发布，能支持按机器维度进行小流量部署，观察系统日志和业务指标，等运行平稳后再推全量。

8、监控报警：全方位的监控体系，包括最基础的CPU、内存、磁盘、网络的监控，以及Web服务器、JVM、数据库、各类中间件的监控和业务指标的监控。

9、灾备演练：类似当前的“混沌工程”，对系统进行一些破坏性手段，观察局部故障是否会引起可用性问题。

高可用的方案主要从冗余、取舍、系统运维3个方向考虑，同时需要有配套的值班机制和故障处理流程，当出现线上问题时，可及时跟进处理。

❇ 高扩展的实践方案

1、合理的分层架构：比如上面谈到的互联网最常见的分层架构，另外还能进一步按照数据访问层、业务逻辑层对微服务做更细粒度的分层（但是需要评估性能，会存在网络多一跳的情况）。

2、存储层的拆分：按照业务维度做垂直拆分、按照数据特征维度进一步做水平拆分（分库分表）。

3、业务层的拆分：最常见的是按照业务维度拆（比如电商场景的商品服务、订单服务等），也可以按照核心接口和非核心接口拆，还可以按照请求去拆（比如To C和To B，APP和H5）。