关闭

spark部署、计算模型、内部执行原理、工作机制详解

328人阅读 评论(0) 收藏 举报
分类:

1、spark的安装和部署


第二章 安装和部署简单,不说了

===========================

第三章: spark计算模型


blockManager管理rdd的物理分区,每个block就是节点上对应的一个数据块,可以存储在内存或者磁盘上,而rdd中的partition是一个逻辑数据块,对应相应的物理块block

本质上一个rdd在代码中相当于数据的一个元数据结构。 存储着数据分区以及逻辑结构映射关系。 存储着rdd之前的依赖转换关系。


在spark的执行过程中

在物理上,rdd对应实质上是一个元数据结构。存储着block node等的映射关系,以及其他的元数据信息,一个rdd就是一组分区,在物理数据存储上,rdd的每个分区对应的就是一个block,block可以存储在内存中,当内存不够的时候可以存储在磁盘上。

每个block中存储着rdd所有数据项目的一个子集,暴露给用户的可以是一个block的迭代器, 例如:用户可以通过mapPartitions获取分区迭代器进行操作。也可以就是一个数据项例如:通过map函数对每个数据项并行计算,本事会在后面章节具体介绍数据管理的底层实现

从hdfs等外部存储作为输入数据源,数据按照hdfs中的数据分布策略进行数据分区,hdfs中的一个block队员spark的一个分区,同事spark支持重分区,数据通过spark 默认的或者用户自定义的分区器决定数据库分布在那些节点,例如 支持hash分区,按照数据项的key取hash值,hash值相同的放在同一个分区中,和range分区,将属于同一数据范围的数据放入同一分区中,等分区策略

下面具体介绍算子功能。


算子很多,分为三种, transfomation  还有action

第四章:  spark工作机制详解

spark应用提交后精力了一些列的转化,最后成为task在每个节点上执行,spark应用转换,rdd的action算子触发job的提交,提交到spark中的job生成 rdd  dag 由dagscheduler转化为stage dag, 每个stage中产生相应的task集合, taskscheduler将任务分发到executor执行,没给任务对于相应的一个数据快, 使用用户定义的函数处理数据块。


作业执行流程描述如下:

用户启动客户端,之后客户端运行用户程序, 启动drive 进程,在driver中启动或者实例化dagscheduler等组件,客户端的driver想master注册

workder向master注册,master命令workder启动executtoer,worker通过创建 executorrunner线程, 在executorrunner线程内部启动executorbackend进程。

 executorbackend启动后,想客户端driver进程内的schedulerbackernd注册, 这样driver进程就能找到计算资源, deirver 的dagcheduler解析应用中的rdd  dag并生成相应的stage ,每个stage包含的taskset 通过taskscheduler分配给executor,在 executor内部启动线程池 并行化执行 task

调度:

application调度,job调度,stage的调度,task的调度

不同的模式有不同的调度策略

standalone,默认情况下,用户向以standalone模式运行的spark集群提交引用使用fifo 的额顺序进行调度。

mesos

yarn

三种运行模式都不能提供跨应用的共享内存。

fifo的调度代码

还有fair调度方式












0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:334678次
    • 积分:4820
    • 等级:
    • 排名:第5947名
    • 原创:39篇
    • 转载:872篇
    • 译文:2篇
    • 评论:25条
    最新评论