深度解析：Spark 优于 Hadoop 吗？

　　对于任何一个进入大数据世界的人来讲，大数据和Hadoop 就成了同义词。随着人们学习了大数据生态系统及其工具和运作原理，他们更能理解大数据的实际意义以及Hadoop 在生态系统中所扮演的角色。

 

　　维基百科对大数据这样解释：大数据是一个宽泛的术语，它指传统数据处理应用程序无法处理的巨大而复杂的数据集。

 

　　简单来讲，随着数据量的增加，采用常规处理方法需要花费大量时间且价格不菲。

 

　　Doug Cutting受谷歌GFS及MapReduce白皮书的启发，在 2005年创办了Hadoop 。Hadoop 采用开源软件框架对超大数据集进行分布式存储技术及分布式处理。换句话说，设计这一产品的目的在于缩减处理大数据集的时间和成本。

 

　　Hadoop，其分布式文件系统(HDFS)和分布式处理模块(MapReduce)成为大数据计算的实际标准。Hadoop 这一术语不仅可以与基础模块相关，也与可兼容Hadoop的其他软件包生态系统息息相关。

 

　　随着时间的推移，生成的数据量猛增，处理大量数据的需求也随之猛增。这最终使大数据计算需要满足各种不同需求，而这些需求并非都可以全部由Hadoop 完成。

 

　　大多数数据分析本质上是迭代处理。尽管迭代处理可以由MapReduce完成，但数据读取应该在每次迭代中进行。通常情况下，这并没有问题。但如果读取100GB的数据或几个TB的数据时，就会费时，而人们会不耐烦

 

　　许多人认为数据分析是一门艺术而非一门科学。在任何艺术领域，艺术家创造一小块部分拼图，又将小拼图将放到更大的拼图上，见证它的生长。可以粗略的翻译为：数据分析师想在下一个处理开始之前得到前一个处理的结果。换句话说，许多数据分析