揭秘Facebook背后的那些软件

最新推荐文章于 2024-03-11 21:25:27 发布

Des_Tiny

最新推荐文章于 2024-03-11 21:25:27 发布

阅读量652

点赞数

分类专栏：杂

杂专栏收录该内容

9 篇文章 0 订阅

订阅专栏

对于Facebook这样超大规模的网站，很多传统的解决方案根本不适用。Facebook工程师们面临的巨大挑战是保证一个近5亿活跃用户的网站一直稳定可靠地运行。他们是如何做到的呢，这篇文章将介绍一下他们所使用的软件和技术。

　　Facebook飞速发展面临的挑战

　　在进入讨论细节之前，先看下面的一些数据，也许让你对Facebook所面临的巨大挑战有一些直观的认识：

Facebook每月有5700亿页面浏览量（据Google Ad Planner）。
Facebook的照片量比其他所有图片网站加起来的还要多（包括Flickr等网站）。
每个月超过30亿张照片被上传。
Facebook的系统每秒要处理120万张照片。这还不包括CDN处理的照片。
每月有超过25亿条内容（状态更新，评论等）被共享。
Facebook有超过30,000台服务器（这是去年的数据！）

　　Facebook飞速发展所依赖的软件

　　在某些程度上说，Facebook仍然是LAMP的站点，但为了能容纳很多其他的元素与服务，Facebook不得不对它们进行改进与扩展，并修改现行的一些做法。

　　例如：

Facebook仍使用PHP，但为它建立了一个编译器，将PHP代码编译为在Web服务器上执行的本地代码，从而提高性能。
Facebook使用Linux，但针对自己的需求对Linux进行了优化，特别是网络吞吐量方面。
Facebook使用MySQL，但主要是作为一个Key-value的持久性存储系统，而将连接查询和逻辑操作放在Web服务器上进行，因为在那里更容易进行优化。

　　另外还有自已开发的系统，如Haystack，一个高度可扩展的对象存储系统，用来存储Facebook上巨量的照片。还有Scribe，一个可以运行在Facebook这种超大规模网站上的日志系统。

　　好，让我们来看看全球最大的社交网站所使用的软件吧。

　　Memcached

　　Memcached是当今互联网上最著名的软件之一。它是一个分布式的内存缓存系统，Facebook（包含其他很多网站）用它作为Web服务器和MySQL服务器之间的缓存层（因为数据库访问相对比较慢）。多年来，Facebook已经对Memcached和它的周边软件进行了很多优化，比如对network stack的优化。

　　Facebook每时每刻都有数10TB的数据缓存在数千台Memcached服务器上。它可能是世界上最大的Memcached服务器集群了。

　　HipHop for PHP

　　PHP作为一种脚本语言，和本地代码相比是运行缓慢的。HipHop可以将PHP转换成C++代码，然后再进行编译，这样可以获得更好的性能。由于Facebook严重依赖PHP，所以通过HipHop可以让Web服务器的性能得到提高。

　　一个工程师小团队在Facebook（一开始只有三人）花了18个月时间开发HipHop，现在已经投入正式使用。

　　Haystack

　　
　　Haystack是Facebook的高性能图片存取系统（严格来说，是一个对象存储系统，因此它并不仅限于存储照片）。它工作繁忙；要管理超过200亿张上传的照片，并且每一片照片被保存为四种不同的分辨率，因此有超过800亿张照片。

　　它不仅要能处理上亿的照片，而且性能也是至关重要的。正如我们前面提到的，Facebook每秒钟要处理约120万张照片，而且不包括CDN上的，这是一个惊人的数字。

　　BigPipe

　　
　　BigPipe是Facebook开发的的动态网页处理系统。为了获得最佳性能，Facebook用它来按分块处理每个网页（称为“pagelets”）。

　　例如，聊天窗口，新闻Feed等是通过分块分开进行传输的。这些pagelets可以并行工作，不仅可以提高性能，而且即使其中一部分失效或中断，也不影响用户的正常访问。

　　Cassandra

　　Cassandra是一个可以避免单点故障的分布式存储系统。它是NoSQL运动的一个典范，并已开放源代码（它甚至成为一个Apache项目）。Facebook在收件箱搜索中使用它。

　　除了Facebook，其他网站也在使用它，例如Digg。

　　Scribe

Scribe是一个灵活的日志系统，Facebook在内部大量使用它。它能够处理Facebook这样超大规模的日志记录，并且能自动处理新生成的日志记录类别（Facebook有数百个日志类别）。

　　Hadoop and Hive

　　Hadoop是一个开源的map-reduce实现，它可以轻松处理海量数据。Facebook用它来进行数据分析（我们都知道Facebook有巨量的数据）。Hive起源于Facebook，它使得针对Hadoop进行SQL查询成为可能，从而非程序员也可以方便地使用。（注: Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务运行。）

　　Hadoop和Hive都是开源的（Apache项目），并且被一些大的网站使用，例如雅虎和Twitter。