高并发系统设计

要设计出一套能支撑几十亿人的系统是很困难的。对于软件架构师来说，这一直是一项很大的挑战，但是，从现在开始，看完我的文章，你就会觉得容易很多了。
下面是我在本文中提到的几个话题：

• 从最简单的开始：万事合一。
• 可扩展性的艺术：纵向扩展，横向扩展。
• 扩展关系型数据库：主 - 从复制、主 - 主复制、联合、分片、非规范化和 SQL 调优。
• 使用哪种数据库：NoSQL 还是 SQL？
• 先进概念：缓存、CDN、geoDNS 等。

1. 从头开始

在下图中，我要先设计一个有一些用户的基本应用。最容易的方式是在一台服务器上部署整个应用。我们中的大部分人可能都是这样开始的。

• 一个网站（包括 API）在 Apache（或 Tomcat）等网络服务器上运行。
• 一个 Oracle（或 MySQL）之类的数据库。
  

但是，当前的架构存在下列缺陷：

• 如果数据库出现故障，则系统将失效。
• 一旦网络服务器出现故障，则会导致整个系统的瘫痪。

在这种情况下，我们没有故障转移和冗余。如果一个服务器出现故障，所有的都将会失效。

使用 DNS 服务器来解析主机名和 IP 地址

在上图中，用户（或客户端）连接到 DNS 系统，以获得我们系统所在的服务器的互联网协议（IP）地址。一旦获得 IP 地址，请求就会直接发送到我们的系统。

每次访问网站时，计算机都会执行 DNS 查询。

通常情况下，域名系统（DNS）服务器是作为托管公司提供的付费服务使用的，并不在你自己的服务器上运行。

2. 可扩展性的艺术

由于很多原因，我们的系统可能需要进行扩展，例如数据量的增加、工作量的增加（如事务的数目），以及用户的增加。

可扩展性一般是指添加更多的资源，在不影响用户体验的情况下处理更多的用户、客户机、数据、事务或请求。

我们必须决定怎样才能扩大这个系统的规模。在这种情况下，有以下两种类型的扩展：纵向扩展（scale up） 和横向扩展（scale out）。

纵向扩展：在现有服务器上增加更多的内存和 CPU

这也被称为“垂直扩展”，是指为了提高系统处理日益增长的负载的能力而使系统能够最大限度地利用资源——例如，通过增加内存和 CPU 来增加服务器的能力。

如果我们运行的服务器有 8G 的内存，那么只要更换或者增加硬件，就可以轻松地提升到 32G，甚至 128G。

有很多方法可以进行纵向扩展，具体如下：

• 通过在 RAID 阵列中增加更多的硬盘来增加 I/O 容量。
• 通过切换到固态硬盘（SSD）来改善 I/O 访问时间。
• 切换到具有更多处理器的服务器。
• 通过升级网络接口或安装额外的网络接口来提高网络吞吐量。
• 通过增加内存来减少 I/O 操作。

对于小型系统来说，纵向扩展是一个很好的选择，可以负担得起硬件升级，但也存在一些严重的限制，具体如下：

• “不可能在一台服务器上增加无限的能力”。这主要取决于操作系统和服务器的内存总线宽度。
• 给系统升级内存时，必须关掉服务器，因此，如果系统只有一台服务器，停机是不可避免的。
• 强大的机器往往要比流行的硬件昂贵很多。

纵向扩展不仅适用于硬件方面，也适用于软件方面，例如，它包括优化查询和应用程序代码。

相比之下，纵向减缩（scale down）是指从现有的服务器中移除现有的资源，如 CPU、内存和磁盘。

您需要多台服务器吗？

当用户数量不断增加时，一台服务器将无法满足需求。我们需要考虑将一台单独的服务器分离到多台服务器上。

采用该架构有如下优势：

• 可对 Web 服务器进行不同于数据库服务器的调优。
• 网络服务器需要更好的 CPU，而数据库服务器需要更多的内存。
• 为 Web 层和数据层提供单独的服务器，允许它们彼此独立地进行扩展。

横向扩展：添加任意数量的硬件和软件实体

这也被称为“水平扩展”，是指向资源池中添加更多的实体（如机器、服务等）。横向扩展要比纵向扩展更难实现，因为我们必须在建立一个系统之前就把这个问题考虑进去。

开始时，为了满足最基本的需求，我们需要更多的服务器，因此横向扩展最初往往花费更多，但是到了最后，我们将获得更多的收益。我们需要权衡利弊。

服务器数量的增长意味着更多的资源需要维护。同时，还必须对系统代码进行修改，以便实现在多台服务器间进行并行和分配工作。

与此相反，横向减缩（Scale in）指的是删除现有服务器的过程。

3. 使用负载均衡器来均衡所有节点上的流量

负载均衡器是一种专门的硬件或软件组件，它可以帮助分散流量到服务器集群，从而改善系统的响应能力和可用性，包括但不限于应用程序、网站或数据库。

负载均衡器一般都是在客户端与服务器之间，接受传入的网络及应用程序的流量，并利用各种算法，将流量分配到多个后端服务器。所以，它也可以用于各种场合，比如 Web 服务器与数据库服务器之间，以及客户端和 Web 服务器之间。

HAProxy 和 Nginx 是目前比较受欢迎的开源负载均衡软件。

负载均衡器技术是一种能够改善系统可用性的容错保护方法，具体如下：

• 如果服务器 1 脱机，则所有的流量将被路由到服务器 2 和服务器 3。网站就不会脱机。你还需要在服务器池中添加一个新的健康服务器来均衡负载。
• 当流量快速增长时，你只需要向网站服务器池添加更多的服务器，负载均衡器将为你路由流量。

负载均衡器通过不同的策略和任务分配算法对负载进行了最优分配，具体如下：

• 轮询： 在这种情况下，每个服务器按顺序接收请求，类似于先进先出（FIFO）。
• 最少的连接数： 连接数最少的服务器将被引导到请求。
• 最快的响应时间： 具有最快响应时间的服务器（最近或经常）将被引导到请求。
• 加权： 较强大的服务器将比较弱的服务器收到更多的请求加权策略。
• IP 哈希： 在这种情况下，计算客户的 IP 地址的哈希值，将请求重定向到服务器。

软件负载均衡是硬件负载均衡器的一个廉价替代品。其操作于第 4 层（网络层）和第 7 层（应用层）。

• 第 4 层：负载均衡器使用网络层的 TCP 提供的信息。在这一层，它一般不会查看所请求的内容，而是选择一台服务器。
• 第 7 层：请求可以根据查询字符串、cookies 或我们选择的任何头的信息，以及包括源和目标地址在内的常规层信息进行均衡。

4. 扩展关系数据库

对于一个简单的系统，我们可以通过 RDBMS，如 Oracle 或者 MySQL 来存储数据项。然而，关系数据库系统也存在着一些问题，尤其是在我们需要扩展的时候。

有很多技术可以扩展关系型数据库：主 - 从复制、主 - 主复制、联合、分片、非规范化和 SQL 调优。

• 复制 通常指的是一种技术，可以让我们在不同的机器上存储同一数据的多个副本。
• 联合（或功能分区）将数据库按功能进行划分。
• 分片 是一种与分区相关的数据库架构模式，它将数据的不同部分放到不同的服务器上，不同的用户将访问数据集的不同部分。
• 非规范化 试图以牺牲一些写入性能为代价来提高读取性能，将数据写入多个表中以避免昂贵的连接。
• SQL 调优。

5. 横向扩展 Web 层

我们已经扩展了数据层，现在我们也需要扩展 Web 层。为了做到这一点，我们需要将用户会话的数据（状态）移出 Web 层，将其存储在数据库中，如关系型数据库或 NoSQL。这也被称为无状态架构。

不要使用有状态架构；由于状态的实现会限制可扩展性。降低可用性和提高成本，所以我们需要尽可能地选择无状态架构。

在上面的场景中，由于可以为最优的请求处理选择任意服务器，因此负载均衡器能够可以达到最高的效率。