Spark核心理解(一)

原创 2016年08月31日 16:06:09

一  基本术语

Application:  基于Spark的用用户程序,包含了Driver程序和集群上的Executor.

Driver Program: 运行行main函数并且新建SparkContext的程序.

Cluster Manager: 在集群上获取资源的外部服务(例如:standalone,Mesos,Yarn ).

Worker Node:集群中任何可以运行行应用用代码的节点.

Executor: 是在一一个Worker Node上为某应用用启动的一一个进程,该进程负责运行行任务,并且负责将数据存在内存或者磁盘上。每个应用用都有各自自独立立的executors.

Task:被送到某个executor上的工工作单元.

Job:包含很多任务的并行行计算,可以看做和Spark的action对应.

Stage:一一个Job会被拆分很多组任务,每组任务被称为Stage(就像Mapreduce分map任务和reduce任务一一样).


二 RDD介绍

RDD是spark最根本的数据抽象, 它是一个数据集合, Spark的运行过程就是创建RDD, 并从一种RDD向另一种新的RDD转换, 最后将这些RDD上的数据收集, 从而得到我们想要的结果. RDD有以下五种属性(可以将RDD计算存储模型图):
(1) 分区属性: 每个RDD包好多个分区, 这既是RDD的数据单位, 也是计算粒度, 每个分区在由一个Task线程处理. 在RDD创建的时候可以指定分区的个数, 如果没有指定, 那么, 默认分区的个数是CPU的核数. 每一块的分区对应一个内存上的bloak, 由BlockManager分配.
(2) 计算属性: RDD不仅包含有数据, 还有在数据上的计算, 每个RDD以分区为计算粒度, 每个RDD会实现compute函数, compute函数会和迭代器(RDD之间转换的迭代器)进行复合, 这样就不需要保存每次compute函运行的结果.
(3) 依赖属性: Spark的运行过程就是RDD之间的转换, 因此, 必须RDD之间的生成关系(新RDD是由哪个或哪几个RDD生成), 这就是所谓的依赖关系, 这样既有助于阶段和任务的划分, 也有助于在某个分区出错的时候, 只需要重新计算与当前出错的分区的有关的分区,而不需要计算所有的分区.
(4)分片属性: 这个属性指的是RDD的partitioner函数(分片函数), 分区函数就是将数据元分配到指定的分区, 这个目前实现了HashPartitioner和RangePartitioner, 只有key-value的RDD才会有分片函数, 否则为none. 分片函数不仅决定了当前分片的个数, 同时决定parent shuffle RDD的输出的分区个数. 
(5)列表属性: 也就是说, 每个RDD会报粗一个列表, 而这个列表保存着分片优先分配给哪个Worker节点计算, spark坚持移动计算而布移动数据的原则. 也就是尽量在存储数据的节点上进行计算.

图 1  RDD的计算模型和存储模型

三  spark运行机制

Spark运行主要分为三部分:RDD的创建和转换DAGScheduler划分任务并生成TaskSetTaskScheduler将任务调度给Worker运行

具体的分为下面四个过程, 可以结合图 2一起看, 这部分主要来自这篇骗博客, 这篇博客有例子,很详细,:

(1) SparkContext(RDD相关操作): 在这个过程, 每次转换(transform)会创建一个新的RDD.

→通过(提交RDD集合)

(2) DAGScheduler(遍历RDD拆分Stage,生成作业):这个过程会创建执行计划,Spark 会尽可能地管道化, 并基于是否要重新组织数据来划分阶段 (Stage). 

→通过(提交任务集TaskSet)

(3) TaskScheduler: (任务调度管理):这个过程调度任务, 将各阶段划分成不同的任务(Task), 每个任务都是数据和计算的合体, 在进行下一阶段前, 当前阶段的所有任务都要执行完成, 因为下一阶段的第一个转换一定是重新组织数据的, 所以必须等当前阶段所有结果数据都计算出来了才能继续.

→通过(按照资源获取任务)

(4) TaskSetManager: (任务调度管理)

Task管理和序列化:

Task的运行要解决的问题不外乎就是如何以正确的顺序, 有效地管理和分派任务. 如何将Task及运行所需相关数据有效地发送到远端,以及收集运行结果

Task的调度源起于DAGScheduler调用TaskScheduler.submitTasks将一个Stage相关的任务集合(TaskSet)一起提交给TaskScheduler调度.

TaskSchedulerImpl是TaskSchedulerImpl的实现,在TaskSchedulerImpl中, 这一组Task被交给一个新的TaskSetManager实例进行管理, 所有的TaskSetManager经由SchedulableBuilder根据特定的调度策略进行排序,

TaskSchedulerImpl的resourceOffers函数中,当前被选择的TaskSetManager的ResourceOffer函数被调用并返回包含了序列化任务数据的TaskDescription,最后这些TaskDescription再由SchedulerBackend派发到ExecutorBackend去执行

  序列化的过程中,App依赖文件相关属性URL等通过DataOutPutStream写出,而Task本身通过可配置的Serializer来序列化,当前可配制的Serializer包括如JavaSerializer ,KryoSerializer等

  Task的运行结果在Executor端被序列化并发送回SchedulerBackend,由于受到Akka Frame Size尺寸的限制,如果运行结果数据过大,结果会存储到BlockManager中,这时候发送到SchedulerBackend的是对应数据的BlockID,TaskScheduler最终会调用TaskResultGetter在线程池中以异步的方式读取结果,TaskSetManager再根据运行结果更新任务状态(比如失败重试等)并汇报给DAGScheduler等


图 2 任务调度过程

参考资料

1. Spark RDD简介与运行机制概述
2. Spark技术内幕 深入解析Spark内核架构设计与实现原理[M]
版权声明:本文为博主原创文章, 举报

相关文章推荐

返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)