高并发的简单理解和实际案例

1.高并发相关知识

 

1.1 高并发基础

说到高并发，你第一想到的是啥？并发与并行，多线程和高可用，集成和大数据？

高并发是互联网系统架构的性能指标之一，它通常是指单位时间内系统能够同时处理的请求数。

简单点说，就是QPS（Queries per second）。

1.3 DDOS分布式拒绝服务

分布式拒绝服务（Distributed Denial of Service，简称DDoS）将多台计算机联合起来作为攻击平台，通过远程连接利用恶意程序，对一个或多个目标发起DDoS攻击，消耗目标服务器性能或网络带宽，从而造成服务器无法正常地提供服务。

DDOS攻击(TCP攻击)：本质上就是黑客计算机利用TCP的三次握手，四次挥手发送大量的报文请求，使得服务器的数据瘫痪和泄露。

1.3 高并发与高可用

高并发（High Concurrency）是互联网分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计保证系统能够同时并行处理很多请求。

提高系统并发能力的方式，方法论上主要有两种：垂直扩展（Scale Up）与水平扩展（Scale Out）。前者垂直扩展可以通过提升单机硬件性能，或者提升单机架构性能，来提高并发性，但单机性能总是有极限的，互联网分布式架构设计高并发终极解决方案还是后者：水平扩展。

高可用：高可用HA（High Availability）是分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计减少系统不能提供服务的时间。

单点是系统高可用的大敌，单点往往是系统高可用最大的风险和敌人，应该尽量在系统设计的过程中避免单点。方法论上，高可用保证的原则是“集群化”，或者叫“冗余”：只有一个单点，挂了服务会受影响；如果有冗余备份，挂了还有其他backup能够顶上。

 1.2 高并发与多线程

高并发是指在同一个时间点，有很多用户同时的访问URL地址，高并发（High Concurrency）通常是指通过设计保证系统能够同时并行处理很多请求。通俗来讲，高并发是指在同一个时间点，有很多用户同时的访问同一 API 接口或者 Url 地址。它经常会发生在有大活跃用户量，用户高聚集的业务场景中。比如：淘宝的双11，双12，就会产生高并发。再如贴吧的爆吧，就是恶意的高并发请求，也就是DDOS攻击

多线程：是指从软件或者硬件上实现多个线程并发执行的技术。具有多线程能力的计算机因有硬件支持而能够在同一时间执行多于一个线程，进而提升整体处理性能。具有这种能力的系统包括对称多处理机、多核心处理器以及芯片级多处理或同时多线程处理器。

两者区别：

多线程是完成任务的一种方法，高并发是系统运行的一种状态，通过多线程有助于系统承受高并发状态的实现。 　 高并发是一种系统运行过程中遇到的一种“短时间内遇到大量操作请求”的情况，主要发生在web系统集中大量访问或者socket端口集中性收到大量请求（例如：12306的抢票情况；天猫双十一活动）。

1.1.3 高并发的使用以及相关参数

高并发相关常用的一些指标有响应时间（Response Time），吞吐量（Throughput），每秒查询率QPS（Query Per Second），并发用户数等。

响应时间：系统对请求做出响应的时间。例如系统处理一个HTTP请求需要200ms，这个200ms就是系统的响应时间。

吞吐量：单位时间内处理的请求数量。

QPS：每秒响应请求数。在互联网领域，这个指标和吞吐量区分的没有这么明显。

并发用户数：同时承载正常使用系统功能的用户数量。例如一个即时通讯系统，同时在线量一定程度上代表了系统的并发用户数

2.高并发的应用场景

3.高并发的解决方案

3.1  普遍的解决方案

总的来说：高并发的解决方案主要包括分为客户端和数据库端的

在客户前端，我们一般采用防火墙，缓存等方式解决问题

在中层，我们一般采用负载均衡，消息队列，分布架构，缓存等方式解决数据传输的问题

而在后台到数据库，我们一般会采用分库分表，列表索引优化的方式来减轻数据库的压力

高并发（High Concurrency）是互联网分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计保证系统能够同时并行处理很多请求。 提高系统并发能力的方式，方法论上主要有两种：垂直扩展（Scale Up）与水平扩展（Scale Out）。前者垂直扩展可以通过提升单机硬件性能，或者提升单机架构性能，来提高并发性，但单机性能总是有极限的，互联网分布式架构设计高并发终极解决方案还是后者：水平扩展。 互联网分层架构中，各层次水平扩展的实践又有所不同： （1）反向代理层可以通过“DNS轮询”的方式来进行水平扩展； （2）站点层可以通过nginx来进行水平扩展； （3）服务层可以通过服务连接池来进行水平扩展； （4）数据库可以按照数据范围，或者数据哈希的方式来进行水平扩展； 各层实施水平扩展后，能够通过增加服务器数量的方式来提升系统的性能，做到理论上的性能无限

2.2 具体案例分析

1. 天猫双十一抢购，抽奖活动，用户抽奖等活动

产生问题

• 服务端：导致站点服务器/DB服务器资源被占满崩溃，数据的存储和更新结果和理想的设计是不一样的，比如：出现重复的数据记录，多次添加了用户积分等。
• 客户端：抢购订单迟迟不能刷新，难以获取产品列表，用户体验感差
• 产品经理：无法很好的推广产品

解决方案

1.1 前端站点设置访问限制，通过集群部署的方式完成项目的制作

1.2 数据中台设计数据访问的方式，限制数据的使用

1.3 其他设计方案

2.热搜时 贴吧爆吧，B站关停等意外事故

产生问题

解决方案

 参见blog:处理高并发的六种方法_kang1011的博客-CSDN博客_高并发三种解决方法

参见blog:java系统高并发解决方案（转载）_jimmy609的专栏-CSDN博客_高并发

参见blog: