![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark 源码阅读
文章平均质量分 85
程序员赤小豆
【公众号/知乎】程序员赤小豆
展开
-
Spark 源码阅读 02:从 Spark-Submit 到 Driver 启动
Spark 版本:3.0.0找到入口理解一个项目最好的切入点就是找到一个入口。比如跟 Spark 的交互方式,如何把任务提交到 Spark 集群。通常使用 spark-submit 脚本来提交任务。它在 Spark 源码的 bin 目录下bin文件夹中在存放了 spark-shell 等其他入口方式。我们来看一下 spark-submit 的具体内容。可以看到是一个shell脚本,加载的类是 org.apache.spark.deploy.SparkSubmit。 $@ 把执行的参数原创 2021-08-29 21:00:58 · 251 阅读 · 0 评论 -
Spark源码阅读01:环境搭建
源码阅读环境搭建我这周都在抽时间尝试把Spark源码编译成功。刚开始我选择的版本是 2.3+ 发现怎么都编译不成功。遇到的一个问题是 scala-maven-plugin compile failed, 查版本号,修改版本后尝试未果。选早一点的版本的想法是说,阅读源码可能会少一些,毕竟版本越高,代码越庞大和复杂。但是早期的版本已经是过去式了,依赖的其他包库也会修改和引入新的特性,编译失败卡的时间太久了,不值得投入,遂直接拥抱 Spark 3.0编译源码去 github 上克隆一份代码,切换到你想看的原创 2021-08-29 20:37:20 · 205 阅读 · 0 评论