高并发解决方案详解（9大常见解决方案）

高并发解决方案详解(9大常见解决方案)

阿里的双11秒杀就是典型的高并发场景，短时间来抢购需要考虑到如下9大高并发解决方案

微服务拆分

分布式架构会从一个拆分为多个系统，每个系统都有独立的数据库等，通过这样的横向扩展，就可以支撑更大的并发量。

微服务架构拆分，最常见的就是Spring Cloud 和Spring Cloud Alibaba。

Spring Cloud，会体系包含如下：

这里就会涉及到：服务发现、负载均衡、配置管理、熔断、路由等，Spring Cloud 提供了一系列组件和模块来解决这些问题。

如果还想更加深入的了解Spring Cloud，请查看：Spring Cloud最全详解(万字图文总结)

除此之外，还会涉及到阿里巴巴打造的Spring Cloud Alibaba。

如下图所示：

Spring Cloud Alibaba 提供了一些核心组件和功能：

1. Nacos： Nacos（Naming and Configuration Service）是一个服务注册与发现、配置管理的平台，可以用于动态注册和发现服务、管理配置信息等。
2. Sentinel： Sentinel 是一个开源的流量控制和熔断框架，用于保护分布式系统免受不稳定的外部资源的影响。
3. RocketMQ： RocketMQ 是一个分布式消息队列，用于实现异步消息通信。
4. Dubbo： Dubbo 是一个高性能的分布式服务框架，用于实现微服务架构中的服务调用和远程通信。
5. Seata： Seata 是一个开源的分布式事务解决方案，用于管理分布式事务的一致性和隔离性。

更加详细的请查看：Spring Cloud Alibaba详解(史上最全组件文档教程)

负载均衡

负载均衡（Load Balancing）是一种分布式系统架构中的技术，用于将网络请求或任务分散到多个服务器或资源上。

比如：当系统面临大量用户访问，负载过高的时候，通常会使用增加服务器数量来进行横向扩展来提高整个系统的处理能力。

如下图所示：

上图的：tomcat-node1、tomcat-node2、tomcat-node3这些节点就可以横向扩展，通过多台服务器来承担并发压力。

负载均衡可以在不同的层次上实现，包括：

• 硬件负载均衡器： 使用专门的硬件设备来实现负载均衡，如硬件负载均衡器。
• 软件负载均衡器： 在应用层或网络层使用软件来实现负载均衡，如反向代理服务器、负载均衡算法。

在负载均衡的设计中，有几种常见的负载均衡策略：

1. 轮询（Round Robin）： 将请求依次分配给服务器列表中的每个服务器，每次请求后移动到下一个服务器。适用于服务器性能相近的情况。
2. 权重轮询（Weighted Round Robin）： 类似于轮询，但每个服务器有不同的权重，可以根据服务器性能调整权重。
3. 最少连接（Least Connections）： 将请求分配给当前连接数最少的服务器，以确保负载均衡。适用于长连接的情况。
4. 权重最少连接（Weighted Least Connections）： 类似于最少连接，但每个服务器有不同的权重，可以根据服务器性能调整权重。
5. 随机（Random）： 随机选择一个服务器来处理请求，适用于简单的负载均衡需求。
6. IP 哈希（IP Hash）： 根据客户端 IP 地址的哈希值来选择服务器，可以确保同一客户端的请求始终发送到同一服务器。

更加详细的请查看：5大负载均衡算法(原理图解)

分布式缓存

大部分的高并发场景，都是读多写少，要想提高数据的访问速度，那系统必须得加缓存。

原因很简单，缓存的读写效率，远远大于数据库的读写效率。

所以，这里我们都会采用分布式缓存来提升性能。

一些常见的分布式缓存系统包括：

• Redis： Redis 是一种基于内存的键值存储系统，支持多种数据结构，如字符串、哈希、列表等，适用于快速读取和写入场景。
• Memcached： Memcached 也是一种基于内存的键值存储系统，适用于分布式缓存和缓存共享。
• Hazelcast： Hazelcast 是一个开源的分布式数据存储和计算平台，支持分布式缓存、分布式计算等。
• Couchbase： Couchbase 是一个分布式缓存和数据库系统，结合了缓存和文档存储的功能。
• Ehcache： Ehcache 是一个 Java 缓存库，可以作为本地缓存或分布式缓存使用。

当然，这里使用最多的还是Redis。

异步处理

对于一些耗时的操作，比如：下订单后的发短信，并发量大的情况下同步操作极为耗时，需要改造为异步请求。

如下图所示：

异步发短信的核心思想是将短信发送操作放入异步任务中，让主程序继续执行，不必等待短信发送完成。

与同步处理相比，异步处理不会阻塞主线程的执行，允许主线程继续执行其他任务，而异步任务在后台或其他线程中完成。

异步处理可以实现多个任务的并行执行，提高系统的并发处理能力。

分库分表

类似淘宝这样的网站，海量数据的存储和访问成为了系统设计的瓶颈问题，一张表超过了亿级数据，都会考虑拆分。

日益增长的业务数据，无疑对数据库造成了相当大的负载，这里就会涉及到垂直拆分和水平拆分等。

分库分表的核心思想，主要包含：分库和分表

如下图所示：

1.分库（Sharding）

将不同的数据存储到不同的数据库实例中。例如，可以根据数据的某个特征（如用户ID、地理位置等）将数据分散到不同的数据库。

2.分表（Sharding）

将单个表拆分成多个子表。例如，可以将一个用户表拆分成多个子表，每个子表存储一部分用户数据。

这里需要涉及到：分库分表中间件，比如：ShardingJDBC、ShardingSphere等，可以帮助实现分库分表的功能。

用的分库分表中间件，如下图所示：

更加详细的请查看：分库分表最全详解(史上最强图文版)

消息队列

消息队列（Message Queue）是一种在分布式系统中用于异步通信的架构模式，它可以实现解耦、异步处理、削峰填谷等目标。

特比是在高并发的双11秒杀场景，都会用到消息队列来解决削峰填谷等问题。

当系统面临突发的大量请求时，可以将请求暂时存储在消息队列中，然后按照系统的处理能力逐步消费和处理。

这种方式可以避免系统被过载和崩溃，适用于流量波动较大的场景，特别适用于高并发的场景。

一些常见的消息队列系统包括： RabbitMQ、Kafka、RocketMQ等。

限流和熔断

限流（Rate Limiting）和熔断（Circuit Breaking）是分布式系统中常用的两种流量控制和容错机制。

用于保护系统免受异常情况下的影响，提高系统的稳定性和可用性。

如下图所示:

如果各个服务正常运行，那大家齐乐融融，但是如果其中一个服务Service C崩坏掉会出现什么样的情况呢？

很有可能就会出现，下图的拖挂别的服务场景。

特别是并发量高的情况下，首先需要保护核心系统的安全性，所以常常会涉及到限流和熔断。

分布式数据库

分布式数据库是一种数据库系统，将数据分散存储在多个物理节点或服务器上，以提高系统的性能、可扩展性和可用性。

这里会涉及到：

1.分布式关系型数据库

这类数据库将关系型数据库的特性与分布式系统的优势相结合，提供了支持SQL查询和事务的能力。

一些例子包括：Google Cloud Spanner、TiDB一种全球分布式的关系型数据库，提供了强一致性和水平扩展能力。

2.分布式列式数据库

这类数据库以列式存储方式存储数据，适用于大规模分析和查询需求。

Apache Cassandra：一个分布式的NoSQL数据库，适用于高可用性和可扩展性的场景。

HBase：一个基于Hadoop的分布式列式数据库，适用于大数据存储和实时查询。

3.分布式文档数据库

这类数据库以文档为单位存储数据，适用于半结构化数据。

MongoDB：一个面向文档的NoSQL数据库，支持分布式部署和水平扩展。

Couchbase：一个分布式NoSQL数据库，支持文档和键值数据模型。

使用分布式数据库系统，如分布式 NoSQL 数据库，来提高数据存储和查询的并发处理能力。

数据库优化

优化数据库的设计、索引、查询语句等，提高数据库的读写性能。

综合运用上述高并发架构解决方案，都可以构建出具有高性能、高可用和可扩展性的系统，满足大量并发请求的需求。