解密Facebook的实时Hadoop系统

Facebook 在 SIGMOD  上发表了一篇名为“Apache Hadoop Goes Realtime at Facebook”的会议论文 ，介绍了 Facebook 为了打造一个实时的 HBase 系统使用到的独门秘技。由于该论文提到的应用场景与我负责的系统要解决的问题域有相似之处，因而抽时间仔细阅读了这篇论文。下面便是结合论文的内容，谈一谈我的一些看法和感想。

这篇文章主要的内容是 Facebook 在 Hadoop 系统上的工程实践，这些工程实践的目标则是题目所点出的――实时。虽然缺乏 Hadoop系统的开发或使用经验，但是我觉得并没有妨碍我对这篇论文的理解。在我的脑子里，HDFS 就是 GFS，HBase 就是BigTable。它们实现上可能有差异之处，但主要的思想应该是相通的。如果熟悉 GFS 和 BigTable 那两篇文章，这篇文章就可以视为 GFS 和BigTable “进阶”。

1. 应用场景和需求

文章的最初是一些背景介绍，主要给出了三类应用场景：Facebook Messaging、Facebook Insight 和 FacebookMetrics System(ODS)。Messaging 就是 Facebook 的新型消息服务，Insight 是提供给开发者和网站主的数据分析工具，ODS则是 Facebook 内部的软硬件状态统计系统。

这三个应用场景都有各自的特色，但简单地来说，面临的问题是同样的：单机或者拆分的关系型数据库无法满足需求。基于应用场景的数据特征，Facebook抽象出了几个对存储系统的需求。由于描述起来有些复杂，例如 Efficient and low-latency strong consistency semantics within a data center，这些需求就不一一列举了。相比需求，更让人感兴趣的是它的那些“非需求”，总共有三条：

容忍单数据中心内部的网络分化，Facebook 认为这个问题应该从网络硬件层面(做冗余设计)而不是软件层面去解决;

单个数据中心宕机不影响服务，Facebook 认为这种灾难很难发生，因而愿意接受这种风险;

跨数据中心的数据热备服务能力，Facebook 假