Bigtable的学习与理解

Bigtable：一个分布式的结构化数据存储系统

摘要

Bigtable是一个管理结构化数据的分布式存储系统，它被设计用来处理海量数据：分布在数千台通用服务器上的PB级的数据。Google的很多项目将数据存储在Bigtable中，包括Web索引、Google Earth、Google Finance。这些应用对Bigtable提出的要求差异非常大，无论是在数据规模（从URL到网页到卫星图像）还是在响应速度上（从后端的批量处理到实时数据服务）。尽管应用需求差异很大，但是，针对所有Google这些产品，Bigtable还是成功地提供了一个灵活的、高性能的解决方案。本文描述了Bigtable提供的简单的数据模型，利用这个模型，用户可以动态的控制数据的布局和格式；并且我们还将描述Bigtable的设计和实现。

1 介绍

在过去两年半时间里，我们设计、实现并部署了一个用于管理结构化数据的分布式的存储系统—在Google，我们称之为Bigtable。Bigtable的设计目的是可靠地适应PB级别的数据和成千上万台机器。Bigtable已经实现了下面的几个目标：广泛的适用性、可扩展、高性能和高可用性。已经有超过60个Google的产品和项目在使用Bigtable，包括Google Analytics、Google Finance、Orkut、Personalized Search、Writely和Google Earth。这些产品使用Bigtable完成迥异的工作负载需求，这些需求从面向吞