概述
Spark是一个快如闪电的统一分析引擎(计算框架)用于大规模数据集的处理。Spark在做数据的批处理计算,计算性能大约是Hadoop MapReduce的10~100倍,因为Spark使用比较先进的基于DAG
任务调度,可以将一个任务拆分成若干个阶段,然后将这些阶段分批次交给集群计算节点
处理。
MapReduce VS Spark
- MapReduce
MapReduce作为第一代大数据处理框架,在设计初期只是为了满足基于海量数据集的计算的迫切需求。自2006年剥离自Nutch(java 搜索引擎)工程,主要解决的是早期人们对大数据的初级认知所面临的的问题。
整个MapReduce的计算实现的是基于磁盘的IO计算,随着大数据技术的不断普及,人们开始重新定义大数据的处理方式,不仅仅满足于能在合理的时间范围内完成对大数据的计算,还对计算的实效性提出了更苛刻的要求,因为人们开始探索使用Map Reduce计算框架完成一些复杂的高阶算法,往往这些算法通常不能通过1次性的Map Reduce迭代计算完成。由于Map Reduce计算模型总是把结果存储到磁盘中,每次迭代都需要将数据磁盘加载到内存,这就为后续的迭代带来了更多延长。
- Spark
Spark发展如此之快是因为Spark在计算层方面明显优于MapReduce的磁盘迭代计算,因为Spark可以使用内存对数据做计算,而且计算的中间结果也可以缓存在内存中,这就为后续的迭代计算节省了时间,大幅度的提升了针对于海量数据的计算效率。
不仅如此,Spark在设计理念中也提出了One stack ruled them all
战略,并且提供了基于Spark批处理之上的计算服务分支。例如:实现基于Spark的交互查询、近实时流处理、机器学习、Grahx图形关系存储等。
从图中不难看出Spark处于计算层,Spark项目在战略上起到了承上启下的作用,并没有废弃原有以hadoop为主体的大数据解决方案。因为Spark向下可以计算来自于HDFS、HBase、Cassandra和亚马逊S3文件服务器的数据,也就意味着使用Spark作为计算层,用户原有的存储层架构无需改动。
计算流程
因为Spark计算是在MapReduce计算之后诞生,吸取了MapReduce设计经验,极大地规避了MapReduce计算过程中的诟病。
- MapReduce
缺点:
1.MapReduce虽然基于矢量编程思想,但是计算状态过于简单,只是简单的将任务分为Map state和Reduce state,没有考虑到迭代计算场景。
2.在Map任务计算的中间结果存储到本地磁盘,IO调用过多,数据读写效率差。
3.MapReduce是先提交任务,然后在计算过程中申请资源。并且计算方式过于笨重。每个并行度都是由一个JVM进程来实现计算。
- Spark
Spark在计算层面上借鉴了MapReduce计算设计的经验,提出了DAGSchedule和TaskSchedual概念,打破了在MapReduce任务中一个job只用Map state和Reduce state的两个阶段。Spark先将任务状态拆分,Spark在任务计算初期首先通过DAGSchedule计算任务的state,将每个阶段的state封装成一个TaskSet,然后由TaskSchedual将TaskSet提交集群进行计算。可以将Spark计算的流程使用以下的流程图描述:
1)SaprkContext初始化上下文。
2)向ClusterManager申请计算资源。
3)启动计算进程服务,并且告知这些进程服务于哪个job。
4)反向注册给Context、Driver
5)调用DAG完成阶段的划分
6)将state转换为TaskSet
7)将TaskSet分发给executor进程、TaskSet本质上是一个线程集合
Executor在计算过程中会进行交互。
优点:
1.智能DAG任务划分,将一个复杂计算拆分成若干个state,满足迭代计算场景
2.Spark提供了计算的缓冲和容错策略,将计算结果存储在内存或者磁盘,加速每个state的运行,提升运行效率
3.Spark在计算初期,就已经申请好计算资源。任务并行度是通过在Executor进程中启动线程实现,相比较于MapReduce计算更加轻快。