大数据处理框架的类型、比较和选择

说起大数据处理，一切都起源于Google公司的经典论文：《MapReduce:Simplied Data Processing on Large Clusters》。在当时(2000年左右)，由于网页数量急剧增加，Google公司内部平时要编写很多的程序来处理大量的原始数据：爬虫爬到的网页、网页请求日志;计算各种类型的派生数据：倒排索引、网页的各种图结构等等。这些计算在概念上很容易理解，但由于输入数据量很大，单机难以处理。所以需要利用分布式的方式完成计算，并且需要考虑如何进行并行计算、分配数据和处理失败等等问题。

　　针对这些复杂的问题，Google决定设计一套抽象模型来执行这些简单计算，并隐藏并发、容错、数据分布和均衡负载等方面的细节。受到Lisp和其它函数式编程语言map、reduce思想的启发，论文的作者意识到许多计算都涉及对每条数据执行map操作，得到一批中间key/value对，然后利用reduce操作合并那些key值相同的k-v对。这种模型能很容易实现大规模并行计算。

对大数据以及人工智能概念都是模糊不清的，该按照什么线路去学习，学完往哪方面发展，想深入了解，想学习的同学欢迎加入大数据学习qq群：458345782，有大量干货（零基础以及进阶的经典实战）分享给大家，并且有清华大学毕业的资深大数据讲师给大家免费授课，给大家分享目前国内最完整的大数据高端实战实用学习流程体系 。从java和linux入手，其后逐步的深入到HADOOP-hive-oozie-web-flume-python-hbase-kafka-scala-SPARK等相关知识一一分享！

 

　　事实上，与很多人理解不同的是，MapReduce对大数据计算的最大贡献，其实并不是它名字直观显示的Map和Reduce思想(正如上文提到的，Map和Reduce思想在Lisp等函数式编程语言中很早就存在了)，而是这个计算框架可以运行在一群廉价的PC机上。MapReduce的伟大之处在于给大众们普及了工业界对于大数据计算的理解：它提供了良好的横向扩展性和容错处理机制，至此大数据计算由集中式过渡至分布式。以前，想对更多的数据进行计算就要造更快的计算机，而现在只需要添加计算节点。

　　话说当年的Google有三宝：MapReduce、GFS和BigTable。但Google三宝虽好，寻常百姓想用却用不上，原因很简单：它们都不开源。于是hadoop应运而生，初代Hadoop的MapReduce和HDFS即为Google的MapReduce和GFS的开源实现(另一宝BigTable的开源实现是同样大名鼎鼎的HBase)。自此，大数据处理框架的历史大幕正式的缓缓拉开。

　　一、基础

　　1. 大数据的定义

　　“大数据”一词的确切定义其实是很难给出的，因为不同的人(供应商、从业者、商业公司等)对它的理解也并不完全一致。通常来讲，大数据是：

　　1) 大数据集

　　2) 用于处理大数据集的某类技术

　　此处的“大数据集”是指一个数据集的数据量太大以至于无法使用传统工具或单机方式来处理和存储，而处理技术包括数据接入、数据持久化存储、数据计算和分析、数据展示(可视化)等等。

　　2. 大数据的特征

　　大数据系统的基本需求与传统系统并没有本质上的不同。但大数据系统虽然具有海量的数据规模，但是对数据的接入和处理速度上也有较高的要求，而且在每个阶段都要对数据进行处理。这些特点还是为设计解决方案时提供了新的挑战。

　　在2001年，美国Gartner公司的Doug Laney首先提出了“3V”模型来描述大数据处理系统与传统数据处理系统的不同：

　　Volume

　　待处理数据的规模在很大程度决定了系统是否为大数据系统。大数据系统中的数据规模可能比传统处理系统中的数据集大几个数量级，这也为数据处理和存储带来了更多的挑战。由于数据处理和存储等工作超出了单台计算机所能达到的性能极限，所以大数据系统通常采用集群方式。集群方式更加考验资源的分配和协调，集群管理和任务分配算法变得越来越重要。

　　Velocity

　　大数据与其他数据系统另一个显着的差异体现在数据的“流动”速度。在大数据系统中，数据经常从多种数据源流入系统，并且以一种近实时的方式进行处理。数据被持续不断的接入、修改、处理和分析以便能够跟得上新数据的接入速度。由于近实时处理可以尽早的提供有价值的信息，目前很多商业公司更加青睐于实时处理系统而不是传统的批处理系统。

　　Var