什么是高并发
- 高并发(High Concurrency)是互联网分布式系统架构设计中必须考虑的因素之一,它通常是指,通过设计保证系统能够同时并行处理很多请求。高并发相关常用的一些指标有响应时间(Response Time),吞吐量(Throughput),每秒查询率QPS(Query Per Second),并发用户数等。
- 响应时间:系统对请求做出响应的时间。例如系统处理一个HTTP请求需要200ms,这个200ms就是系统的响应时间。
- 吞吐量:单位时间内处理的请求数量。
- QPS:每秒响应请求数。在互联网领域,这个指标和吞吐量区分的没有这么明显。
如何提升系统的并发能力
- 互联网分布式架构设计,提高系统并发能力的方式,方法论上主要有两种:垂直扩展(Scale Up)与水平扩展(Scale Out)。
垂直扩展
- 提升单机处理能力。垂直扩展的方式又有两种:
- 增强单机硬件性能,例如:增加CPU核数如32核,升级更好的网卡如万兆,升级更好的硬盘如SSD,扩充硬盘容量如2T,扩充系统内存如128G;
- 提升单机架构性能,例如:使用Cache来减少IO次数,使用异步来增加单服务吞吐量,使用无锁数据结构来减少响应时间;
- 平时的开发都是同步,(Spring MVC 和Servlet开发)请求给到就处理,再接着得到请求再执行。
- 异步请求,先会被放入后台工作线程去,而不用及时获得结果,增加吞吐量,减少阻塞,Servlet及其容易阻塞,在并发达到1000以后就容易出现崩溃。
- 无锁数据:乐观锁与悲观锁,同步锁:一个请求过来,另外请求只能等待,就会阻塞。
- 在互联网业务发展非常迅猛的早期,如果预算不是问题,强烈建议使用“增强单机硬件性能”的方式提升系统并发能力,因为这个阶段,公司的战略往往是发展业务抢时间,而“增强单机硬件性能”往往是最快的方法。
垂直扩展缺点
- 不管是提升单机硬件性能,还是提升单机架构性能,都有一个致命的不足:单机性能总是有极限的。所以互联网分布式架构设计高并发终极解决方案还是水平扩展。
水平扩展
- 只要增加服务器数量,就能线性扩充系统性能。水平扩展对系统架构设计是有要求的,如何在架构各层进行可水平扩展的设计,以及互联网公司架构各层常见的水平扩展实践
典型互联网分层架构
-
Client:可以是web浏览器、安卓和iOS等(客户端层)
-
DNS的轮询机制,域名可绑定多个IP
-
反向代理层:系统入口,反向代理
-
站点应用层:实现核心应用逻辑,返回html或者json
-
服务层:如果实现了服务化,就有这一层
-
数据-缓存层:缓存加速访问存储
-
数据-数据库层:数据库固化数据存储
水平扩展分层架构
反向代理层的水平扩展
反向代理层的水平扩展,是通过DNS轮询实现的:dns-server对于一个域名配置了多个解析IP,每次DNS解析请求来访问dns-server,会轮询返回这些IP。
当nginx成为瓶颈的时候,只要增加服务器数量,新增nginx服务的部署,增加一个外网IP,就能扩展反向代理层的性能,做到理论上的无限高并发
站点应用层的水平扩展
- 站点层的水平扩展,是通过“nginx”实现的。通过修改nginx.conf,可以设置多个web后端。
- 当web后端成为瓶颈的时候,只要增加服务器数量,新增web服务的部署,在nginx配置中配置上新的web后端,就能扩展站点层的性能,做到理论上的无限高并发。
服务层的水平扩展
- 服务层的水平扩展,是通过“服务连接池”实现的。
- 站点层通过RPC-client调用下游的服务层RPC-server时,RPC-client中的连接池会建立与下游服务多个连接,当服务成为瓶颈的时候,只要增加服务器数量,新增服务部署,在RPC-client处建立新的下游服务连接,就能扩展服务层性能,做到理论上的无限高并发。如果需要优雅的进行服务层自动扩容,这里可能需要配置中心里服务自动发现功能的支持。
数据层的水平扩展
- 在数据量很大的情况下,数据层(缓存,数据库)涉及数据的水平扩展,将原本存储在一台服务器上的数据(缓存,数据库)水平拆分到不同服务器上去,以达到扩充系统性能的目的。
按照范围水平拆分
- 每一个数据服务,存储一定范围的数据,上图为例:
- user0库,存储uid范围1-1kw
- user1库,存储uid范围1kw-2kw
优点:
- 规则简单,service只需判断一下uid范围就能路由到对应的存储服务;
- 数据均衡性较好;
- 比较容易扩展,可以随时加一个uid[2kw,3kw]的数据服务;
缺点:
- 请求的负载不一定均衡,一般来说,新注册的用户会比老用户更活跃,大range的服务请求压力会更大;
按照哈希水平拆分
- 每一个数据库,存储某个key值hash后的部分数据,上图为例:
- user0库,存储偶数uid数据
- user1库,存储奇数uid数据
优点:
- 规则简单,service只需对uid进行hash能路由到对应的存储服务;
- 数据均衡性较好;
- 请求均匀性较好;
缺点:
- 不容易扩展,扩展一个数据服务,hash方法改变时候,可能需要进行数据迁移;
水平拆分与主从同步
- 这里需要注意的是,通过水平拆分来扩充系统性能,与主从同步读写分离来扩充数据库性能的方式有本质的不同。
通过水平拆分扩展数据库性能:
- 每个服务器上存储的数据量是总量的1/n,所以单机的性能也会有提升;
- n个服务器上的数据没有交集,那个服务器上数据的并集是数据的全集;
- 数据水平拆分到了n个服务器上,理论上读性能扩充了n倍,写性能也扩充了n倍(其实远不止n倍,因为单机的数据量变为了原来的1/n);
通过主从同步读写分离扩展数据库性能
- 每个服务器上存储的数据量是和总量相同;
- n个服务器上的数据都一样,都是全集;
- 理论上读性能扩充了n倍,写仍然是单点,写性能不变;
实际扩展概念和方案
- 实现分库、分表、表分区
- 例如:有数据:
- 末尾数字是0-9:
- 2019061713570001
- 2019061713570006
- 2019061713570004
- 2019061713570002
- 2019061713570000
- 2019061713570007
- 不同的尾号分别放在:
- User1
- User6
- User4
- User2
- User0
- User7
- 末尾数字是0-9:
- 将数组分为十组放入服务器,减少服务器压力。
- 另一种更为细分:
- 在User-0库中再分为user0、user1表,可分为100份,但还牵扯到事务问题还有更好的解决方案。
- 可再将表按ID继续分区