服务端高并发分布式结构

前言

本文以⼀个 “电子商务” 应用为例，介绍从⼀百个到千万级并发情况下服务端的架构的演进过程，同时列举出每个演进阶段会遇到的相关技术，让大家对架构的演进有⼀个整体的认知，方便⼤家对后续知识做深⼊学习时有⼀定的整体视野。

一.常见概念

应用(Aplication)/ 系统(System)

为了完成一整套服务的一个程序或者一组相互配合的程序群。

模块(Moudle)/组件(Componet)

当应用比较复杂时，为了分离职责，将其中具有清晰职责的、内聚性比较强的，抽象出概念，便于理解。

分布式(Distributed)

系统中的多个模块被部署于不同服务器之上，即可以将该系统称为分布式系统。如 Web 服务器与数据库分别⼯作在不同的服务器上，或者多台 Web 服务器被分别部署在不同服务器上。

集群(Cluster)

被部署于多台服务器上的、为了实现特定目标的⼀个/组特定的组件，整个整体被称为集群。比如如多个 MySQL ⼯作在不同服务器上，共同提供数据库服务⽬标，可以被称为⼀组数据库集群。

主(Master)/从(Slave)

集群中通常有一个程序需要承担更多的责任被称为主，其他承担附属职责的被称为从。

中间件(Middleware)

⼀类提供不同应⽤程序⽤于相互通信的软件，即处于不同技术、⼯具和数据库之间的桥梁。生活例⼦类比：⼀家饭店开始时，会每天去市场挑选买菜，但随着饭店业务量变⼤，成⽴⼀个采购部，由采购部专职于采买业务，称为厨房和菜市场之间的桥梁。

可用性（Availability）

考察单位时间段内，系统可以正常提供服务的概率/期望。例如： 年化系统可⽤性 = 系统正常提供服务时长 / ⼀年总时⻓。

响应时长(Response Time RT)

指用户完成输入系统给出用户反应的时长。例如点外卖业务的响应时长 = 拿到外卖的时刻 - 完成点单的时刻。通常我们需要衡量的是最⻓响应时长、平均响应时⻓和中位数响应时长。

吞吐(Throughput) vs 并发(Concurrent)

吞吐考察单位时间段内，系统可以成功处理的请求的数量。并发指系统同⼀时刻⽀持的请求最高量。

二.架构演进

单机架构

⽤⼾在浏览器中输⼊ www.ai.taobao.com，首先先经过 DNS 服务将域名解析成 IP 地址 10.102.41.1，随后浏览器访问该 IP 对应的应⽤服务。

应用数据分离架构

随着系统的上线，我们不出意外地获得了成功。市场上出现了⼀批忠实于我们的用户，使得系统的访问量逐步上升，逐渐逼近了硬件资源的极限，同时团队也在此期间积累了对业务流程的⼀批经验。⾯对当前的性能压⼒，我们需要未⾬绸缪去进⾏系统重构、架构挑战，以提升系统的承载能力。但由于预算仍然很紧张，我们选择了将应⽤和数据分离的做法，可以最小代价的提升系统的承载能力。

和之前架构的主要区别在于将数据库服务独立部署在同⼀个数据中心的其他服务器上，应用服务通过网络访问数据。

应用服务集群架构

我们的系统受到了用户的欢迎，并且出现了爆款，单台应⽤服务器已经⽆法满⾜需求了。我们的单机应用服务器⾸先遇到了瓶颈，摆在我们技术团队⾯前的有两种⽅案，⼤家针对⽅案的优劣展示了激烈的讨论。

• 垂直扩展/纵向扩展 Scale Up。通过购买性能更优、价格更高的应用服务器来应对更多的流量。这种方案的优势在于完全不需要对系统软件做任何的调整，但劣势也很明显:硬件性能和价格的增长关系是非线性的，意味着选择性能2倍的硬件可能需要花费超过 4倍的价格，其次硬件性能提升是有明显上限的。

• 水平扩展/横向扩展 Scale Out。通过调整软件架构，增加应用层硬件，将用户流量分担到不同的应用层服务器上，来提升系统的承载能力。这种方案的优势在于成本相对较低，并且提升的上限空间也很大。但劣势是带给系统更多的复杂性，需要技术团队有更丰富的经验。

经过激烈的讨论，大家还是最终选择了水平扩展的方案，引入了一个新的组件— 负载均衡:为了解决用户流量向哪台应用服务器分发的问题，需要一个专门的系统组件做流量分发。

这样做的好处就是假设有 1w 个用户请求,有 2 个应用服务器此时按照负载均衡的方式就可以让每个应用服务器承担 5k 的访问量.

读写分离 / 主从分离架构

上一节提到，我们把用户的请求通过负载均衡分发到不同的应用服务器之后，可以并行处理了，并且可以随着业务的增长，可以动态扩张服务器的数量来缓解压力。但是现在的架构里，无论扩展多少台服务器，这些请求最终都会从数据库读写数据，到一定程度之后，数据的压力称为系统承载能力的瓶颈点。我们可以像扩展应用服务器一样扩展数据库服务器么? 答案是否定的，因为数据库服务有其特殊性:如果将数据分散到各台服务器之后，数据的一致性将无法得到保障。所谓数据的一致性，此处是指:针对同一个系统，无论何时何地，我们都应该看到一个始终维持统一的数据。想象一下银行管理的账户金额，如果收到一笔转账之后，一份数据库的数据修改了，但另外的数据库没有修改，则用户得到的存款金额将是错误的。

我们采用的解决办法是这样的，保留⼀个主要的数据库作为写⼊数据库，其他的数据库作为从属数据库。从库的所有数据全部来⾃主库的数据，经过同步后，从库可以维护着与主库⼀致的数据。然后为了分担数据库的压⼒，我们可以将写数据请求全部交给主库处理，但读请求分散到各个从库中。由于⼤部分的系统中，读写请求都是不成⽐例的。

引入缓存 ------ 冷热分离架构

随着访问量继续增加，发现业务中⼀些数据的读取频率远⼤于其他数据的读取频率。我们把这部分数据称为热点数据，与之相对应的是冷数据。针对热数据，为了提升其读取的响应时间，可以增加本地缓存，并在外部增加分布式缓存，缓存热⻔商品信息或热⻔商品的 html ⻚⾯等。通过缓存能把绝大多数请求在读写数据库前拦截掉，⼤⼤降低数据库压⼒。其中涉及的技术包括：使⽤memcached作为本地缓存，使⽤ Redis 作为分布式缓存，还会涉及缓存⼀致性、缓存穿透/击穿、缓存雪崩、热点数据集中失效等问题。

垂直分库

随着业务的数据量增大，大量的数据存储在同一个库中已经显得有些力不从心了，所以可以按照业务，将数据分别存储。比如针对评论数据，可按照商品ID进行hash，路由到对应的表中存储;针对支付记录，可按照小时创建表，每个小时表继续拆分为小表，使用用户ID或记录编号来路由数据。只要实时操作的表数据量足够小，请求能够足够均匀的分发到多台服务器上的小表，那数据库就能通过水平扩展的方式来提高性能。其中前面提到的Mycat也支持在大表拆分为小表情况下的访问控制。这种故法显著的增加了数据库运维的难度，对DBA的要求较高。数据库设计到这种结构时，已经可以称为分布式数据库，但是这只是一个逻辑的数据库整体，数据库里不同的组成部分是由不同的组件单独来实现的，如分库分表的管理和请求分发，由Mycat实现，SOL的解析由单机的数据库实现，读写分离可能由网关和消息队列来实现，查询结果的汇总可能由数据库接口层来实现等等，这种架构其实是MPP(大规模并行处理)架构的一类实现。

业务拆分 ---- 微服务

随着人员增加，业务发展，我们将业务分给不同的开发团队去维护，每个团队独立实现自己的微服务，然后互相之间对数据的直接访问进行隔离，可以利用 Gateway、消息总线等技术，实现相互之间的调用关联。甚至可以把一些类似用户管理、安全管理、数据采集等业务提成公共服务。