Spark 简介

转载于 www.zicesun.com
之前看了一些Spark的相关内容，我觉得很有必要进行总结一下，不然都搭不起自己的知识框架。

Apache Spark

Apache Spark™是用于大规模数据处理的统一分析引擎，是一个实现快速通用的集群计算平台。它是由加州大学伯克利分校AMP实验室 开发的通用内存并行计算框架，用来构建大型的、低延迟的数据分析应用程序。它扩展了广泛使用的MapReduce计算模型。高效的支撑更多计算模式，包括交互式查询和流处理。spark的一个主要特点是能够在内存中进行计算，及时依赖磁盘进行复杂的运算，Spark依然比MapReduce更加高效。
官网地址:http://spark.apache.org/

Spark的主要特点

1. 提供Cache机制来支撑需要反复迭代计算或者多次数据共享，减少数据的I/O开销；
2. 提供支持DAG图的分布式并行计算变成框架，减少多次计算之间中间结果写到HDFS的开销；
3. 使用多线程池模型来减少Task启动开销，Shuffle操作中避免不必要的sort操作，并减少磁盘操作。

Spark与Hadoop的比较

Hadoop的局限	Spark的改进
抽象层次低， 代码编写难易上手	通过使用RDD的统一抽象，实现数据处理逻辑的代码非常简洁。
只提供map和reduce两个操作，表达能力有限	通过RDD提供了很多transformation和action操作，实现了很多基本的操作，比如Sort，Join等。
一个job只有Map和Reduce两个阶段，复杂的程序需要大量的Job来完成，比起给Job之间的以来关系需要应用户自行管理	一个Job可以包含多个RDD转换操作，只需要在调度时生成多个Stage。一个Stage中可以包含多个Map操作，只需要Map操作使用的RDD分区保持不变。
处理逻辑隐藏在代码细节中，缺少整体逻辑视图	RDD的转换支持流式API，提供处理逻辑的整体视图
对迭代式的数据处理性能比较差，Reduce与下一步Map之间的中间结果只能保存在HDFS文件系统中	通过内存缓存数据，可大大提高迭代式计算的性能，内存不足是可以溢出到磁盘上。
ReduceTask需等待所有MapTask都完成后才开始执行	分区相同的转换操作可以在一个Task中以流水线的形式执行，只有分区不同的转换需要Shuffle操作。
时延高，只适用于批数据处理，对交互式数据处理和实时数据处理的支持不够	将流拆成小的Batch，提供Discretized Stream处理流数据

Spark主要组件

名称	功能
SparkCore	将分布式数据抽象为弹性分布式数据集（RDD），实现了应用任务调度、RPC、序列化和压缩，并为运行在其上的上层组件提供API。
SparkSQL	Spark Sql 是Spark来操作结构化数据的程序包，可以让我使用SQL语句的方式来查询数据，Spark支持 多种数据源，包含Hive表，parquest以及JSON等内容。
SparkStreaming	是Spark提供的实时数据进行流式计算的组件。
MLlib	提供常用机器学习算法的实现库。
GraphX	提供一个分布式图计算框架，能高效进行图计算。
BlinkDB	用于在海量数据上进行交互式SQL的近似查询引擎。
Tachyon	以内存为中心高容错的的分布式文件系统。

Spark Cluster Managers

cluster manager值集群上获取资源的外部服务器

1. Standalone: Spark原生的资源管理器，有manager负责资源的分配
2. Apache Messo: 与Hadoop MR兼容性良好的资源调度框架
3. Hadoop Yarn： 指yarn中的resourceManager