spark--Spark源码阅读思路

最新推荐文章于 2023-08-08 21:21:51 发布
最新推荐文章于 2023-08-08 21:21:51 发布
阅读量665 收藏 4
点赞数 2
分类专栏： Spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_46893497/article/details/114005071
版权

Spark源码阅读思路

下载源码

http://spark.apache.org/downloads.html

在这里插入图片描述

导入源码到IDEA

  • 1.下载源码/或使用资料中的添加好注释的源码压缩包并解压
  • 2.导入到IDAE中
    在这里插入图片描述
  • 3.选择pom.xml
    在这里插入图片描述
  • 4.一路下一步直到finish
    在这里插入图片描述
  • 5.等待下载依赖解析项目看到如下目录结构即可
    在这里插入图片描述
  • 注意:时间会比较长,耐心等待,如果最后还是报红,不用管,因为我们只去阅读,不去运行

源码阅读的两条线

在这里插入图片描述

线路1-建立连接-申请资源

在这里插入图片描述

线路2-构建DAG-划分Stage-提交Task流程

Driver中寻找入口

在这里插入图片描述

SparkContext

在这里插入图片描述

RDD

在这里插入图片描述

SparkContext

在这里插入图片描述

DAGScheduler

在这里插入图片描述
在这里插入图片描述

EventLoop

在这里插入图片描述

DAGSchedulerEventProcessLoop

在这里插入图片描述

DAGScheduler

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

TaskScheduler

在这里插入图片描述
在这里插入图片描述

TaskSchedulerImpl

在这里插入图片描述

CoarseGrainedSchedulerBackend

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

CoarseGrainedExecutorBackend

在这里插入图片描述
在这里插入图片描述

韩家小志
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark源码阅读一-spark读写文件代码分析
David的专栏
08-01 2199
1.读取文件 从本地文件读取sparkcontext.textFile(“abc.txt”) 从hdfs文件读取sparkcontext.textFile("hdfs://s1:8020/user/hdfs/input”)
spark-3.1.3-bin-hadoop3.2.tgz
05-19
Apache Spark版本3.1.3。Linux安装包。spark-3.1.3-bin-hadoop3.2.tgz
编译的spark-hive_2.11-2.3.0和 spark-hive-thriftserver_2.11-2.3.0.jar
06-23
spark-hive_2.11-2.3.0 spark-hive-thriftserver_2.11-2.3.0.jar log4j-2.15.0.jar slf4j-api-1.7.7.jar slf4j-log4j12-1.7.25.jar curator-client-2.4.0.jar curator-framework-2.4.0.jar curator-recipes-2.4.0.jar
深入理解Spark核心思想与源码分析
08-27
深入理解Spark核心思想与源码分析
spark-2.2.0.tgz源码
02-20
spark源码，官网下载慢的可以来这里哦
SparkCore源码阅读
01-29
绝对原创，SparkCore源码阅读，适合新手
spark-2.4.0源码
11-24
spark-2.4.0源码，包括spark相关原始代码，包含java,scala等语言
Spark 源码阅读学习（一）
Clockworkai's Blog
07-25 1448
写本文的目标就是立下 flag ：好好研读 Spark 源码，从 branch-0.7 这个分支开始。 如何通过阅读源码提高自己 大家都说要多读优秀开源框架的源码，那么怎么读呢？像 Apache Spark 在 GitHub 上有两万多个 commit，将源码导入 IDEA 之后好多好多源码文件，看着很绝望。 后来我去看知乎上的如何去阅读并学习一些优秀的开源框架的源码？，很多优秀的回...
spark源码（零）阅读总纲
Interest1_wyt的博客
06-25 587
系统了解spark任务的提交，driver、application的调度与注册，资源的分配，executor的创建，job到stage再到task的切分过程，hdfs文件数据的读写操作，RDD本身的map reduce操作，持久化、check point的高可靠性容错性的实现等。............
【读懂面经中的源码】SPARK源码解析——shuffle过程
番茄薯仔
08-08 327
【读懂面经中的源码】SPARK源码解析——shuffle过程。这是我的第一篇读源码博客，主要从面经出发，深入理解spark shuffle过程，期间通过源码加深理解面经中提到的原理。文章包括三部分，分别是面筋部分、shuffle write、shuffle read部分。文章三部分的讲解将有助于读者同学理解spark shuffle详细原理，希望能够帮助到各位读者同学！！！
Spark源码解读由浅入深 宽窄依赖篇
log1119的博客
08-18 801
本文基于Spark源码解读，从概述开始，由浅入深分析了宽窄依赖的实质，有利于加深读者对宽窄依赖的理解。
spark源码阅读笔记
11-16
spark源码阅读笔记 spark源码阅读笔记 spark源码阅读笔记 spark源码阅读笔记
spark源码阅读笔记(详)
05-16
spark源码阅读笔记(详)， the reading notes of Spark source code
spark-广播变量基础及源码解析
04-08
spark-广播变量基础及源码解析
spark源码以及官方的示例（方便阅读源码学习）
07-08
搜集好了的spark源码以及官方案例，方便感兴趣的人阅读源码去学习。:-D，
基于Scala的spark-study学习项目设计源码
最新发布
04-18
本项目是基于Scala的spark-study学习项目设计源码，包含27个文件，其中主要包含10个xml配置文件，6个class字节码文件，3个scala源代码文件等。项目旨在为学习Spark提供一个实践平台，通过Scala编程语言和Spark框架，...
Spark源码阅读的正确打开方式
微信搜：import_bigdata，大数据领域硬核原创作者
02-09 1120
Spark发展至今，应该说已经非常成熟了。是大数据计算领域不得不学习的框架。尤其是Spark在稳定性和社区发展的成熟度方面，吊打其他的大数据处理框架。 Spark至今只经历过1.x、2.x和3.x三个大版本的变化，在核心实现上，我们在Github能看到的最早的实现是0.5版本，这个版本只有1万多行代码，就把Spark的核心功能实现了。 当然我们不可能从这么古老的版本看，假如你接触过Spark，现...
spark源码阅读
weixin_30603633的博客
02-25 97
根据spark2.2的编译顺序来确定源码阅读顺序，只阅读核心的基本部分。 1、common目录 ①Tags②Sketch③Networking④Shuffle Streaming Service⑤Unsafe 2、launcher目录 3、core目录 spark的编译顺序是： [INFO] Reactor Build Order:[INFO][INFO] Spark Proj...
spark-sql 时间戳类型比较源码修改
04-06
这段代码的意思是对于"spark-sql"库中的时间戳类型进行修改。其中，"\xe6\x97\xb6\xe9\x97\xb4\xe6\x88\xb3"是表示时间戳，"\xe7\xb1\xbb\xe5\x9e\x8b"是表示类型，"\xe6\xaf\x94\xe8\xbe\x83\xe6\xba\x90\xe7\xa0\x81\xe4\xbf\xae\xe6\x94\xb9"是表示修改源代码。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值