第一章 遇见HADOOP 第二节 数据存储与分析(hadoop:the definitive guide)

    问题很简单：尽管近年来硬盘的存储量已经大量增加，访问速度--从硬盘上读取数据的速度--却

没有跟上硬盘容量的增长节奏。1990年一个标准的硬盘可以存储1370MB的数据，传输速度是4.4MB/s，

所以你可以在大约5分钟内读取所有数据。20年之后，1TB的硬盘已经很常见了，但是传输速度

大约有100MB/s，所以要从硬盘读取所有数据将耗时两个半小时。

    从一块硬盘上读取所有数据的时间是很长的--如果要是写的话那将会更慢。减少读取时间的一个

明显方法是一次从多个硬盘读取数据。想象一下，如果我们有100块硬盘，每块硬盘存储百分之一

的数据。并行工作的话，我们可以在两分钟之内读取所有数据。

    只使用硬盘的百分之一看起来很浪费。但是我们可以存储100个数据集合，它们中的每一个都是1TB，

并且为它们提供共享访问。我们可以想象，系统的用户会很乐意提供共享访问来缩短分析时间，并且从

统计学上来说，他们的分析工作在时间上会分开，所以他们不怎么会相互影响。尽管有更多 时候从

多个硬盘并行读取或写入数据。

    首先要解决的问题是硬件错误：一旦你使用很多的硬盘碎片，它们之中有一个失败的机会就会很高。

为了避免数据丢失的一个普遍方法是复制：系统保持数据的拷贝，一旦发生错误，可以使用另外一个

备份文件。这就是独立磁盘冗余阵列（RAID)的工作方式，但是HADOOP的文件系统，HDFS，采用了

一个稍微不同的途径，稍后你可以看到。

    第二个问题是大部分的分析工作需要联合数据，从一个硬盘读取的数据也许需要与其它99个硬盘读取

的数据联合。各种分布式系统可以从不同的数据源整合数据，但是想要正确的做到这件事是一个很大的

挑战。MapReduce从程序读写硬盘抽象出了一个编程模型，把它转换成计算一组键值对。稍后我们会

看看这个模型的细节，但是当前讨论的重点是有两个部门需要计算--映射和归纳--而这两都之间的接口就是

联合发生的地方。如同HDFS，MapReduce也已可靠的内置进来。

    简单的说，HADOOP提供了几下内容：一个数据存储和分析的可靠的，可伸缩的平台。同时，因为它

运行在普通的硬件上并且是开源的，HADOOP是一个负担的起的解决方案。