《大型网站技术架构：核心原理与案例分析》

大型网站架构演化

打造一个高可用、高性能、易扩展、可伸缩且安全的网站。

大型网站软件系统的特点

• 高并发、大流量：需要面对高并发用户，大流量访问。

• 高可用：系统7×24小时不间断服务。

• 海量数据：需要存储、管理海量数据，需要使用大量服务器。

• 用户分布广泛，网络情况复杂:许多大型互联网都是为全球用户提供服务的，用户分布范围广，各地网络情况千差万别。

• 安全环境恶劣：由于互联网的开放性，使得互联网站更容易受到攻击，大型网站几乎每天都会被黑客攻击。

• 需求快速变更，发布频繁：和传统软件的版本发布频率不同，互联网产品为快速适应市场，满足用户需求，其产品发布频率是极高的。

• 渐进式发展：与传统软件产业或企业应用系统一开始就规划好全部的功能和非功能需求不同，几乎所有的大型互联网站都是从一个小网站开始，渐进地发展起来的。

大网站架构演化发展历程

1. 初始阶段的网站架构

应用程序、数据库、文件等所有的资源都在一台服务器上。

2. 应用服务和数据服务分离

• 应用服务器：需要处理大量的业务逻辑，因此需要更快更强大的CPU

• 数据库服务器：需要快速磁盘检索和数据缓存，因此需要更快的硬盘和更大的内存

• 文件服务器：需要存储大量用户上传的文件，因此需要更大的硬盘

3. 使用缓存改善网站性能

• 缓存在应用服务器上的本地缓存：访问速度更快，但是受应用服务器内存限制，其缓存数据量有限，而且会出现和应用程序争内存的情况。

• 缓存在专门的分布式缓存服务器上的远程缓存：远程分布式缓存可以使用集群的方式，部署大内存的服务器作为专门的缓存服务器，可以在理论上做到不受内存容量限制的缓存服务。

4. 使用应用服务器集群改善网站的并发处理能力

负载均衡调度服务器：将来自用户浏览器的访问请求分发到应用服务器集群中的任何一台服务器上。

5. 数据库读写分离

主从热备功能：通过配置两台数据库主从关系，可以将一台数据库服务器的数据更新同步到另一台服务器上。

应用服务器在写数据库的时候，访问主数据库，主数据库通过主从复制机制将数据更新同步到从数据库，这样当应用服务器读数据的时候，就可以通过从数据库获得数据。为了便于应用程序访问读写分离后的数据库，通常在应用服务器端使用专门的数据访问模块，使数据库读写分离对应用透明。

6. 使用反向代理和CDN加速网站响应

CDN和反向代理：基本原理都是缓存，区别在于CDN部署在网络提供商的机房，使用户在请求网站服务时，可以从距离自己最近的网络提供商机房获取数据；反向代理则部署在网站的中心机房，当用户请求到达中心机房后，首先访问的服务器是反向代理服务器，如果反向代理服务器中缓存着用户请求的资源，就将其直接返回给用户。

7. 使用分布式文件系统和分布式数据库系统

分布式数据库：是网站数据库拆分的最后手段，只有在表单数据规模非常庞大的时候才使用。不到不得已时，网站更常用的数据库拆分手段是业务分库，将不同业务的数据库部署在不同的物理服务器上。

8. 使用NoSQL和搜索引擎

NoSQL和搜索引擎：源自互联网的技术手段，对可伸缩的分布式特性具有更好的支持。应用服务器则通过一个统一数据访问模块访问各种数据，减轻应用程序管理诸多数据源的麻烦。

9. 业务拆分

业务拆分：根据产品线划分，将一个网站拆分成许多不同的应用，每个应用独立部署维护。应用之间可以通过一个超链接建立关系（在首页上的导航链接每个都指向不同的应用地址），也可以通过消息队列进行数据分发，当然最多的还是通过访问同一个数据存储系统来构成一个关联的完整系统。

10. 分布式服务

分布式服务：可以将应用系统中共用的业务提取出来，独立部署。这些可复用的业务连接数据库，提供共用业务服务，而应用系统只需要管理用户界面，通过分布式服务调用共用业务服务完成具体业务操作。

大型网站架构演化的价值观

1. 大型网站架构技术的核心价值是随网站所需灵活应对

2. 驱动大型网站技术发展的主要力量是网站的业务发展

网站架构设计误区

1. 一味追随大公司的解决方案

2. 为了技术而技术

3. 企图用技术解决所有问题

大型网站架构模式

模式的关键在于模式的可重复性，问题与场景的可重复性带来解决方案的可重复使用。

网站架构模式

为了解决大型网站面临的高并发访问、海量数据处理、高可靠运行等一系列问题与挑战，大型互联网公司在实践中提出了许多解决方案，以实现高性能、高可用、易伸缩、可扩展、安全等各种技术架构目标。这些解决方案又被更多网站重复使用，从而逐渐形成大型网站架构模式。

1. 分层

层级	功能
应用层	负责具体业务和试图展示
服务层	为应用层图个服务支持
数据层	提供数据存储访问服务

在实践中，大的分层结构内部还可以继续分层，如：

• 应用层

  • 视图层（美工负责）

  • 业务逻辑层（工程师负责）

• 服务层

  • 数据接口层（适配各种输入和输出的数据格式）

  • 逻辑处理层

2. 分割

如果说分层是将软件在横向方面进行切分，那么分割就是在纵向方面对软件进行切分。

3. 分布式

对于大型网站，分层和分割的一个主要目的是为了切分后的模块便于分布式部署，即将不同模块部署在不同的服务器上，通过远程调用协同工作。

分布式解决网站高并发带来问题：

• 分布式意味着服务调用必须通过网络，这可能对性能造成比较严重的影响。

• 服务器越多，服务器宕机的概率也就越大，一台服务器宕机造成的服务器不可用可能会导致很多应用不可访问，使网站可用性降低。

• 数据在分布式环境中保持数据一致性也非常困难。

• 分布式导致网站依赖错综复杂，开发管理维护困难。

在网站应用中，常用的分布式方案有以下几种：

• 分布式应用和服务：将分层和分割后的应用和服务模块分布式部署。

  • 改善网站性能和并发性

  • 加快开发和发布速度

  • 减少数据库连接资源消耗

  • 使不同应用复用共同的服务

  • 便于业务功能的扩展

• 分布式静态资源：网站的静态资源独立分布式部署，并采用独立的域名，“动静分离”。

  • 减轻应用服务器的负载压力

  • 加快浏览器并发加载的速度

  • 有利于网站分工合作

• 分布式数据和存储：传统关系数据库和各种NoSQL几乎都是分布式的。

• 分布式计算：目前网站普遍使用Hadoop及其MapReduce分布式计算框架进行此类批处理计算，其特点是移动计算而不是移动数据，将计算程序分发到数据所在位置以加速计算和分布式计算。

• 分布式配置：支持网站线上服务器配置实时更新。

• 分布式锁：分布式环境下实现并发和协同。

• 分布式文件：支持云存储。

4. 集群

使用分布式已经将分层和分割后的模块独立部署，对于用户访问集中的模块（如网站首页），还需要将独立部署的服务器集群化，即多台服务器部署相同应用构成一个集群，通过负载均衡设备共同对外提供服务。

5. 缓存

缓存就是将数据存放在距离计算最近的位置以加快处理速度。缓存是改善软件性能的第一手段。

• CDN：即内容分发网络，部署在距离用户最近的网络服务商，用户的网络请求总是先到达网络服务商那里，在这里缓存网站的一些静态资源（较少变化的数据），就可以以最快速度返回给用户。

• 反向代理：属于网站前端架构的一部分，部署在网站的前端，当用户请求到达网站的数据中心时，最先访问到的就是反向代理服务器，这里环迅网站的静态资源，无需将请求继续转发给应用服务器就能返回给用户。

• 本地缓存：在应用服务器本地缓存着热点数据，应用程序可以在本机内存中直接访问数据，而无需访问数据库。