Spark-Core源码阅读

最新推荐文章于 2022-11-14 16:45:03 发布
最新推荐文章于 2022-11-14 16:45:03 发布
阅读量959 收藏 1
点赞数 2
分类专栏： Spark 文章标签： spark 源码 阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wl044090432/article/details/50608401
版权
本文详尽地剖析了Spark-Core的源码，包括Standalone、YARN、Mesos三种部署方式，Spark Context的初始化，RDD的工作原理，Job的提交与调度，BlockManager的分布式缓存，Shuffle操作的细节，RDD的Checkpoint机制以及Spark-Streaming的实现。适合初学者逐步了解Spark内核。
摘要由CSDN通过智能技术生成

吐血奉献，Spark-Core源码阅读，适合新手，详细请见链接：

http://download.csdn.net/detail/wl044090432/9421721

目录结构为：

一． Spark的部署方式Standalone、YARN、Mesos. 2

1.     Standalone.2

2.     Mesos.3

3.     YARN..3

二． Standalone部署下的Driver，Master和Work如何启动... 4

1.     Master的启动...4

2.     Work的启动...12

3.     Driver的启动...19

4.     流程图...24

三.  Spark Context的初始化...24

1.     Application的注册... 24

2.     Excutor的启动... 34

3.     流程图... 40

四.     详解Rdd. 40

1.     Rdd的基本组成... 40

2.     Rdd的Transformation和action. 43

3.     Rdd的依赖... 44

五.     Job的提交... 44

1.     Dependency、Stage和Task的划分... 44

2.     job的具体执行过程... 45

3.     job的运行过程的日志打印... 62

3.1 DAG图    62

3.2 Driver端日志：...62

六.     Application中Job的调度... 64

1.     Job调度的类结构... 65

2.     FAIR调度的资源池组成... 66

3.     FAIR调度原理解析... 69

3.1 TaskSetManager的提交...69

3.2 TaskSetManager的调度...71

七.     BlockManager（分布式缓存的实现）... 83

1．RDD的存储等级...83

2．Driver和Excutor的交互...85

2.1 Driver接受Excutor指令的过程：...85

2.2 Excutor接受Driver指令的过程：...86

2.3 Excutor和Excutor之间相互接受指令的过程：...87

3．Block的生成过程（Rdd如何遍历其分区数据）...87

4. 广播变量的原理...89

4.1 广播变量如何存储...89

4.2 广播变量如何读取...90

八.     详解Shuffle. 92

1．当前后RDD的分区函数相等时...95

2．当前后RDD的分区函数不相等时...98

2.1 HashShuffleManager.101

2.1.1ShuffleWrite.101

2.1.2ShuffleRead.103

2.1.3 流程图...104

2.1.3.1consolidateShuffleFiles=true.104

2.1.3.2consolidateShuffleFiles=false.106

2.2 SortShuffleManager.106

2.2.1ShuffleWrite.106

2.2.2ShuffleRead.111

2.2.2 流程图...111

九.     详解RDD的CheckPoint机制... 112

1．RDDCheckPoint数据的写入...113

2．RDDCheckPoint数据的读取...115

十.     Spark-Streaming. 116

1．Kafka和Spark-Streaming结合的receiver方式，不开启WAL功能...117

1.1 Driver端启动流程...117

1.2 Receiver端启动流程...125

1.3 Driver端和Receiver端的交互...134

2. Kafka和Spark-Streaming结合的receiver方式，开启WAL功能...135

2.1 Receiver端流程...137

2.2 Driver端流程...149

2.3 Receiver和Dirver端的交互...153

2.4 Spark-Streaming恢复流程...154

3. Kafka和Spark-Streaming结合的direct方式...159

3.1 Receiver不存在...161

3.2 Job如何提交...161


亮亮-AC米兰
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark core源码阅读-环境准备(一)
吃货先生的博客
02-06 2091
spark源码阅读-环境准备(一) 基于1.6.0版本结合源码理解spark on yarn 环境准备 下载代码: https://github.com/juntaozhang/spark/tree/my.v1.6.0 git clone https://github.com/juntaozhang/spark.git git checkout my.v1.6.0 mv
spark core源码阅读-RDD与Stage(五)
吃货先生的博客
02-12 484
我们之前说过RDD只是抽象概念,RDD会被转换成Stage,进而被转换成Task,在Executor上执行,今天我们跟一下源码看spark是 如何转换的 Stage stage是一组并行任务,被作为Spark任务的一部分运行,并且这些任务持有相同的shuffle依赖.每个任务的DAG根据哪边发生 shuffle为边界划stages,并在调度器中执行有序的stages拓扑图,具体分为: ...
SparkCore源码阅读
01-29
绝对原创，SparkCore源码阅读，适合新手
Spark core 源码解读与扩展
12-10
深入浅出介绍了 spark core 的原理，同时也进行了扩展，是大数据从业者很好的参考资料
深入理解Spark 2.1 Core （六）：资源调度的原理与源码分析
01-05 5442
在上篇博文中，我们讲到了如何启动Master和Worker，还讲到了如何回收资源。但是，我们没有将AppClient是如何启动的，其实它们的启动也涉及到了资源是如何调度的。这篇博文，我们就来讲一下AppClient的启动和逻辑与物理上的资源调度。
spark-2.4.0源码
11-24
Spark是Apache软件基金会下的一个开源...通过对Spark-2.4.0源码的阅读和研究，开发者可以了解到分布式系统设计、内存管理、任务调度、数据并行处理等多方面的知识，这对于提升大数据处理技术的专业水平有着极大的帮助。
spark-core_2.12-3.0.0.jar
03-19
比maven仓库下载快很多
spark-2.2.0源码
04-28
《Spark 2.2.0 源码深度解析》 Spark，作为一款高效、通用的大数据处理框架，因其强大的并行计算能力、易用性和灵活性，在大数据领域中备受推崇。Spark 2.2.0 版本是其发展过程中的一个重要里程碑，引入了诸多优化...
my-spark-core:扩展spark-core
03-23
通过对"my-spark-core-master"压缩包的源码分析，我们可以深入理解这些改进是如何实现的，同时也可以借鉴其设计思想，应用到自己的项目中。此外，参与开源项目也是提升技术能力、积累社区经验的好方式，对于个人和...
spark-2.3.1源码包
07-05
Spark核心组件包括：Spark Core（基础运行时框架）、Spark SQL（用于SQL查询和数据处理）、Spark Streaming（实时流处理）、MLlib（机器学习库）和GraphX（图处理）。这些组件协同工作，为大数据处理提供了强大的...
spark-core_2.11-2.1.3-SNAPSHOT.jar
04-01
spark-core_2.11-2.1.3-SNAPSHOT.jar
spark-core 源码
weixin_60343465的博客
11-14 902
就是计算一下你读取的文件一共将分成多少个切片（或者说分区） 首先切片大小肯定小于物理文件块的大小用的是 InputFormat接口下的 FileInputFormat2.compute这个函数是指明 我已经分区好了，未来我这个计算要向分区所在的哪个地方移动去，也就是计算向数据移动 我要找文件所在物理块号这个函数其实返回的就是一个迭代器，里面有hasNext（）和getNext()方法1. cartesian笛卡尔积笛卡尔积操作 cartesian函数。
spark core源码分析6 Spark job的提交
zhu's 专栏
08-26 1423
首先看一个spark自带的最简单的例子： object SparkPi { def main(args: Array[String]) { val conf = new SparkConf().setAppName("Spark Pi") val spark = new SparkContext(conf) val slices = if (args.length >
spark core源码阅读-RDD详细介绍(四)
吃货先生的博客
02-11 4837
之前对RDD有一个大体概念了解,这一节我们需要深入了解它,了解在源码中到底是什么, 怎么产生的,给个rdd之间怎么依赖的,最后又怎么生成spark job 我们还是先从一个例子下手: val sc = new SparkContext(sparkConf) val res = sc .textFile(args(0)) .flatMap(line => line.spli...
spark2.2.0源码阅读---spark core包 --- storage
dianlial的专栏
05-30 302
1、本文目标以及其它说明：    本文主要是介绍storage包下面的类2、storage包下面的数据结构说明sealed abstract class BlockId { 表示的是数据块的标识。具体子类有rddblockid / shuffle / broadcast / task / stream / temlocal/ temshuffle 等等private[storage] class ...
spark core源码阅读-广播(九)
吃货先生的博客
03-04 583
spark-core源码阅读-广播 前言 (spark core源码阅读-Task介绍(六))我们讨论过submitMissingTasks,期间谈到broadcast,当时只是说把序列化过得taskBytes 广播到出去,这里详细讨论广播实现原理 BroadcastManager在SparkEnv初始化时被实例化,实例化中initialize实例化BroadcastFactory,默...
spark2.2.0源码阅读---spark core包 --- rpc模块
dianlial的专栏
05-18 856
1、本文目标以及其它说明：        本文或者本次系列主要是弄清楚spark.2.2.0版本中，spark core 包下rpc通信情况。从源代码上面看到，底层通信是用的netty，因为本系列以及本文是专项学习spark，故netty只会涉及到不会去讲解。在读源码前考虑到spark的体系结构有spark core / spark sql / spark streaming / spark ma...
spark core源码阅读-Storage shuffle(八)
吃货先生的博客
02-28 593
spark core源码阅读-Storage shuffle(八) 本节主要介绍RDD.aggregateByKey导致的shuffle,分两部分map shuffle,reduce shuffle 一 map shuffle ShuffleMapTask中Task如何处理rdd.iterator,shuffle中Map端如何根据根据分区把数据写入文件. 主要类简述 Shuff...
Spark core源码分析之spark集群的启动（一）
z1941563559的博客
08-03 372
1 前言 本文分析的是spark 1.3.1版本的源代码，因为1.3.1是比较经典的版本，其中的rpc是使用akka实现的，而1.6.x的版本的rpc的实现既有akka又有netty，2.0之后的版本就去掉akka只有netty了。现在使用较多的还是1.6.x，所以这里分析1.3.1版本。 导入项目 解压项目包（spark-1.3.1.zip），Idea - import project，选...
spark-core源码学习记录 2 应用提交submit 及driver注册流程，以javawordcount为例
最新发布
04-11
当你提交Spark Core源码学习笔记的时候，并注册Driver的流程，以Java的WordCount为例。 首先，编写提交Job的代码： ```java import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; public class WordCount { public static void main(String[] args) { SparkConf conf = new SparkConf().setAppName("WordCount"); JavaSparkContext sc = new JavaSparkContext(conf); JavaRDD<String> lines = sc.textFile(args[0]); JavaRDD<String> words = lines.flatMap(line -> Arrays.asList(line.split(" ")).iterator()); JavaPairRDD<String, Integer> pairs = words.mapToPair(word -> new Tuple2<>(word, 1)); JavaPairRDD<String, Integer> counts = pairs.reduceByKey((a, b) -> a + b); counts.saveAsTextFile(args[1]); } } ``` 之后就是提交任务和注册Driver： ```java import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.SparkContext; public class WordCount { public static void main(String[] args) { SparkConf conf = new SparkConf().setAppName("WordCount"); JavaSparkContext sc = new JavaSparkContext(conf); SparkContext spark = SparkContext.getOrCreate(conf); spark.addSparkListener(new MySparkListener()); JavaRDD<String> lines = sc.textFile(args[0]); JavaRDD<String> words = lines.flatMap(line -> Arrays.asList(line.split(" ")).iterator()); JavaPairRDD<String, Integer> pairs = words.mapToPair(word -> new Tuple2<>(word, 1)); JavaPairRDD<String, Integer> counts = pairs.reduceByKey((a, b) -> a + b); counts.saveAsTextFile(args[1]); } } class MySparkListener extends SparkListener { public void onApplicationStart(SparkListenerApplicationStart applicationStart) { String appName = applicationStart.appName(); System.out.println("Application started: " + appName); } public void onApplicationEnd(SparkListenerApplicationEnd applicationEnd) { long time = applicationEnd.time(); System.out.println("Application ended: " + time); } } ``` 这个代码会在提交任务的时候，自动注册Driver，并且添加了自定义的Listener。注意，在提交任务前，需要先启动Spark集群，并将提交路径和结果路径传递给代码的args数组。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值