Spark基础-为什么选择spark

核心
1、spark大数据处理框架
2、RDD表达能力
3、Spark子系统

1、Spark大数据处理框架
Mapreduce及各种专有系统中出现的不足，伯克利大学推出了全新的统一大数据处理框架spark，创新性地提供了RDD概念(一种新的抽象的弹性数据集)，在某种程度上spark的对Mapreduce模型的一种扩展，要在Mapreduce上实现其不擅长的计算工作(比如迭代式、交互式和流式)，看上去是一件非常困难的事情，其实主要的原因是mapreduce缺乏一种特性，即在并行计算的各个阶段进行有效的数据共享。这种共享就是RDD的本质。利用这种有效的数据共享和类似Mapreduce的操作接口，上述的各种专有类型计算都能够有效地表达，而且能够获得与专有系统同等的性能。
从前对于集群处理的容错方式，比如Mapreduce和Dryad是将计算构建成为一个有向无环图的任务集，而这只能允许它们有效地重新计算部分DAG，在单独的计算之间，除了复制文件，这些模型没有提供其他的存储抽象。这就显著地增加了在网络之间复制文件的代价，RDD能够适应当前大部分的数据并行算法和编程模型

2 RDD表达能力
可以使用RDD实现很多现有的集群编程模型以及一些以前的模型不支持的新应用，在这些模型中，RDD能够取得和专有系统同样的性能，还能提供包括容错处理、滞后节点处理等这些专有系统缺乏的特性。下面重点介绍4类模型
1、迭代算法：这是目前专有系统实现的非常普遍的一种应用场景，比如迭代算法可以用于图处理和机器学习。RDD 能够很好的实现这些模型，包括Pregel、Haloop和Graphalp等模型
2、关系型查询：对于Mapreduce来说非常重要的需求就是运行SQL查询，包括长期运行、数小时的批处理作业和交互式的查询，然而对于Mapreduce而言，对比并行数据库进行交互式查询，有其内在的缺点，比如由于其容器的模型而导致速度很慢。利用RDD模型，可以通过实现很多通用的数据库引擎特性，从而获得非常好的性能
3、Maprduce批处理：RDD提供的接口是Mapreduce的超集，所有RDD可以有效的利用Mapreduce实现的应用程序，另外RDD还适合更加抽象的基于DAG的应用程序，比如DryadINQ
4、流式处理：目前的流式系统也只是提供了有限的容错处理，需要消耗系统非常大的拷贝代价或者非常长的容错时间。利用RDD实现一种新的模型-离散数据流(D-Stream)，可以克服上面的这些问题，D-Stream将流式计算当作一系列的短小而确定的批处理操作。而不是常驻的有状态的操作，将两个离散流直接的状态保存在RDD中。离散流模型能够允许通过RDD的继承关系图(lineage)进行并行性的恢复而不需要进行数据拷贝。

3、spark子系统
如果按照目前流行的大数据处理场景来划分可以将大数据处理分为如下3种
1、复杂的批量数据处理，通常的时间跨度为数10分钟到数小时
2、基于历史数据的交互式查询，通常时间跨度为数十秒到分钟
3、基于实时数据流的数据处理，通常的时间跨度为数百毫秒到数秒

由于RDD具有丰富的表达能力，所以伯克利在spark core的基础上衍生出了能够同时处理上述三种情形的统一大数据处理平台

spark core ：基于RDD提供了丰富的操作接口，利用DAG进行统一的任务规划，使得spark能够更加灵活地处理类似Mapreduce的批处理作业
Spark SQL：兼容hive的接口HQL，提供了比hive高出10~100倍的查询速度的分布式SQL引擎
Spark Streaming：将流式计算分解成一系列的短小的批处理作业，利用spark轻量级和低延迟的调度框架，可以很好的支持流式处理，目前已经支持的数据输入源包括kafka，flume，Twitter，TCP sockets。
GraphX ：基于Spark的图计算框架，兼容Pregel和GraphLab接口，增强了图构建以及图转换功能
MLlib：Spark Core天然地非常适合于迭代式计算，MLlib就是构建在spark上的集群学习算法库，目前已经可以支持常用的分类算法、聚合算法、推荐算法等