各种大型网站技术架构

引言近段时间以来，通过接触有关海量数据处理和搜索引擎的诸多技术，常常见识到不少精妙绝伦的架构图。除了每每感叹于每幅图表面上的绘制的精细之外，更为架构图背后所隐藏的设计思想所叹服。个人这两天一直在搜集各大型网站的架构设计图，一为了一饱眼福，领略各类大型网站架构设计的精彩之外，二来也可供闲时反复琢磨体会，何乐而不为呢?特此，总结整理了诸如国外wikipedia，Facebook，Yahoo！，YouTube，MySpace，Twitter，国内如优酷网等大型网站的技术架构（本文重点分析优酷网的技术架构），以飨读者。本文着重凸显每一幅图的精彩之处与其背后含义，而图的说明性文字则从简从略。ok，好好享受此番架构盛宴吧。当然，若有任何建议或问题，欢迎不吝指正。谢谢。

• 1、WikiPedia 技术架构

WikiPedia 技术架构图Copy @Mark Bergsma

1. 来自wikipedia的数据：峰值每秒钟3万个 HTTP 请求 每秒钟 3Gbit 流量, 近乎375MB 350 台 PC 服务器。

2. GeoDNSA ：40-line patch for BIND to add geographical filters support to the existent views in BIND", 把用户带到最近的服务器。GeoDNS 在 WikiPedia 架构中担当重任当然是由 WikiPedia 的内容性质决定的--面向各个国家，各个地域。

3. 负载均衡：LVS，请看下图：

。

• 2、Facebook 架构

Facebook 搜索功能的架构示意图

细心的读者一定能发现，上副架构图之前出现在此文之中：从几幅架构图中偷得半点海里数据处理经验。本文与前文最大的不同是，前文只有几幅，此文系列将有上百幅架构图，任您尽情观赏。

• 3、Yahoo! Mail 架构

Yahoo! Mail 架构

Yahoo! Mail 架构部署了 Oracle RAC，用来存储 Mail 服务相关的 Meta 数据。

• 4、twitter技术架构

twitter的整体架构设计图

twitter平台大致由twitter.com、手机以及第三方应用构成，如下图所示（其中流量主要以手机和第三方为主要来源）：

缓存在大型web项目中起到了举足轻重的作用，毕竟数据越靠近CPU存取速度越快。下图是twitter的缓存架构图：关于缓存系统，还可以看看下幅图：

• 5、Google App Engine技术架构

GAE的架构图

简单而言，上述GAE的架构分为如图所示的三个部分：前端，Datastore和服务群。

1. 前端包括4个模块：Front End，Static Files，App Server，App Master。

2. Datastore是基于BigTable技术的分布式数据库，虽然其也可以被理解成为一个服务，但是由于其是整个App Engine唯一存储持久化数据的地方，所以其是App Engine中一个非常核心的模块。其具体细节将在下篇和大家讨论。

3. 整个服务群包括很多服务供App Server调用，比如Memcache，图形，用户，URL抓取和任务队列等。

• 6、Amazon技术架构

Amazon的Dynamo Key-Value存储架构图

可能有读者并不熟悉Amazon，它现在已经是全球商品品种最多的网上零售商和全球第2大互联网公司。而之前它仅仅是一个小小的网上书店。ok，下面，咱们来见识下它的架构。Dynamo是亚马逊的key-value模式的存储平台，可用性和扩展性都很好，性能也不错：读写访问中99.9%的响应时间都在300ms内。按分布式系统常用的哈希算法切分数据，分放在不同的node上。Read操作时，也是根据key的哈希值寻找对应的node。Dynamo使用了 Consistent Hashing算法，node对应的不再是一个确定的hash值，而是一个hash值范围，key的hash值落在这个范围内，则顺时针沿ring找，碰到的第一个node即为所需。Dynamo对Consistent Hashing算法的改进在于：它放在环上作为一个node的是一组机器（而不是memcached把一台机器作为node），这一组机器是通过同步机制保证数据一致的。下图是分布式存储系统的示意图，读者可观摩之：

Amazon的云架构图如下：

Amazon的云架构图

• 7、优酷网的技术架构

从一开始，优酷网就自建了一套CMS来解决前端的页面显示，各个模块之间分离得比较恰当，前端可扩展性很好，UI的分离，让开发与维护变得十分简单和灵活，下图是优酷前端的模块调用关系：这样，就根据module、method及params来确定调用相对独立的模块，显得非常简洁。下图是优酷的前端局部架构图：优酷的数据库架构也是经历了许多波折，从一开始的单台MySQL服务器（Just Running）到简单的MySQL主从复制、SSD优化、垂直分库、水平sharding分库。

1. 简单的MySQL主从复制。问题：问题产生总得解决的，这就产生下面的优化方案。

   1. 写入无法扩展

   2. 写入无法缓存

   3. 复制延时

   4. 锁表率上升

   5. 表变大，缓存率下降

2. MySQL垂直分区问题，因此为何不试试水平sharding呢？

3. MySQL水平分片（Sharding） 但是，优酷是如何解决跨shard的查询呢，这个是个难点，据介绍优酷是尽量不跨shard查询，实在不行通过多维分片索引、分布式搜索引擎，下策是分布式数据库查询（这个非常麻烦而且耗性能）。

4. 缓存策略

   1. 避免内存拷贝，避免内存锁

   2. 如接到老大哥通知要把某个视频撤下来，如果在缓存里是比较麻烦的

出处:http://blog.csdn.net/tiansan/article/details/52825241