大型网站架构模式

为了解决大型网站面临的高并发访问，海量数据处理，高可靠运行等一系列问题和挑战，大型互联网公司在实践中提出来许多解决方案，以实现网站高性能，高可用，易伸缩，可扩展，安全等技术架构目标。

一.分层

分层是企业应用系统中最常见的一种架构模式，分层将系统在横向维度上切分成几个部分，每个部分负责一部分相对比较单一的职责，然后通过上层对下层的依赖和调用组成一个完整的系统。

大型网站架构将网站软件系统分为应用层，服务层，数据层。应用层：负责具体业务和视图展示，如网站首页及搜索输入和结果展示。服务层：为应用层提供服务支持，如用户管理服务，购物车服务等。数据层：提供数据存储访问服务，如数据库，缓存，文件，搜索引擎等。

通过分层，可以更好地将一个庞大的软件系统切分成不同的部分，便于分工合作开发和维护、但是分层也有一些挑战，就是必须合理规划层次边界和接口，在开发过程中，严格遵循分层架构的约束，禁止跨参差的调用及逆向调用。

二.分割

如果说分层是将软件在横向方面进行切分，那么分割就是在纵向方面对软件进行切分。网站越大，功能越复杂，服务和数据处理的种类也越多，将这些不同的功能和服务分割开来，包装成高内聚低耦合的模块单元，一方面有助于软件的开发和维护，另一方面便于不同模块的分布式部署，提高网站的并发处理能力和功能扩展能力。如大型购物网站会分割成首页，商品，购物车，买家，卖家等，由独立的团队负责，部署在不同的服务器上。

三.分布式

对于大型网站，分割和分层的一个主要目的是为了切分后的模块便于分布式部署，即将不同模块部署在不同的服务器上，通过远程调用协同工作。分布式意味着可以使用更多的计算机完成同样的功能，计算机越多，CPU，内存，存储资源也就越多，能够处理的并发访问和数据量就越大，进而能够为更多的用户提供服务。

但是分布式在解决高并发的问题的同时也带来了其他问题。首先，分布式意味着服务调用必须通过网络，这可能会对性能造成比较严重的影响。其次，服务器越多，服务器宕机的概率就越大，一台服务器宕机造成的服务不可用可能会导致很多应用不可访问，使网站可用性降低。另外，数据在分布式的环境中保持数据一致性也非常困难。分布式事务也难以保证，这对业务正确性和业务流程有可能造成很大影响。

在网站应用中，常用的分布式方案有以下几种：

1.分布式应用和服务：将分层和分割后的应用和服务模块分布式部署，除了可以改善网站性能和并发性，加快开发和发布速度，减少数据库连接资源消耗外，还可以使不同应用复用共同的服务，便于业务功能扩展。

2.分布式静态资源：分布式静态资源可以减轻应用服务器的负载压力，通过使用独立域名加快浏览器并发加载的速度。

3.分布式数据和存储：大型网站需要处理以P为单位的海量数据，单台计算机无法提如此大的存储空间，这些数据需要分布式存储。

4.分布式计算：网站业务的计算规模非常庞大，目前网站普遍使用Hadoop和MapReduce分布式计算框架进行此类批处理计算。

四.集群

使用分布式虽然已经将分层和分割后的模块独立部署，但是对于用户访问几种的模块，还需要将独立部署的服务器集群化，即多台服务器部署相同应用构成一个集群，通过负载均衡设备共同对外提供服务。目前网站的站点几乎都采用集群方式，可以防止一台服务器宕机后，网站可以继续使用，同时减轻服务器的压力。

五.缓存

缓存目前可以说在网站中承担非常重要的作用，网站架构中几乎到处可以看到缓存的存在。缓存就是将数据存放在距离计算最近的位置以加快处理速度。缓存是改善软件性能的第一手段，大型网站架构设计在很多方面都使用了缓存设计。

CDN：即内容分发网络，部署在距离终端用户最近的网络服务商，用户的网络请求总是先到达他的网络服务商哪里，在这里缓存网站的一些静态资源，可以就近以最快速度返回给用户，如视频网站和门户网站会将用户访问量打的热点内容缓存在CDN。、

反向代理：反向代理属于网站前端架构的一部分，部署在网站的前端，当用户请求到达网站的数据中心时，最先访问到的就是反向代理服务器，这里缓存网站的静态资源，无须将请求继续转发给应用服务器就能返回给用户。

本地缓存：在应用服务器本地缓存着热点数据，应用程序可以在本机内存中直接访问数据，而无须访问数据库。

分布式缓存：大型网站的数据类十分庞大，即使只缓存一小部分，需要的内存空间也不是单机能承受的，所以除了本地缓存，还需要分布式缓存，将数据缓存在一个专门的分布式缓存集群中，应用程序通过网络通信访问缓存数据。

使用缓存有两个前提条件，一是数据访问热点不均衡，某些数据会被更频繁的访问，这些数据应该放在缓存中。二是数据在某个时间段内有效，不会很快过期，否则缓存的数据就会因已经失效而产生脏读，影响结果的正确性。

网站应用中，缓存出了可以加快数据访问速度，还可以减轻后端应用和数据存储的负载压力，这一点对网站数据库架构至关重要，网站数据库几乎都是按照有缓存的前提进行负载能力设计的。

六.异步

软件开发的一项重要准则就是"高内聚，低耦合"，事物之间直接关系越少，就越少被彼此影响，越可以独立发展。大型网站架构中，系统解耦合的手段除了前面提到的分层，分割，分布等，还有一个重要手段是异步。业务之间的消息传递不是同步调用，而是将一个业务操作分成多个阶段，每个阶段之间通过共享数据的方式异步执行进行操作。

在单一服务器内部可通过多线程共享内存队列的方式实现异步，处在业务操作前面的线程将输出写入到队列，后面的线程从队列中去除数据进行处理。在分布式系统中，多个服务器集群通过分布式消息队列实现异步，分布式消息队列可以看做内存队列的分布式部署。

使用异步消息队列还有如下特性：

1.提高系统可用性。消费者服务器发生故障，数据会在消息队列服务器中存储堆积，生产者服务器可以继续处理业务请求，系统整体表现五故障。消费者服务器回复正常后，继续处理消息队列中的数据。

2.加快网站响应速度。处在业务处理前端的生产者服务器在处理完业务请求后，将数据写入消息队列，不需要等待消费者服务器处理就可以返回，响应延迟减少。

3.消除并发访问高峰。使用消息队列将突然增加的访问请去数据放入消息队列中，等待消费者服务器依次处理，就不会对整个网站负载造成太大压力。