Spark源码跟踪
Spark源码
AaronLwx
这个作者很懒,什么都没留下…
展开
-
单手解Spark之Executor计算执行逻辑
Driver 中的 CoarseGrainedSchedulerBackend 给 CoarseGrainedExecutorBackend 发送 LaunchTask 消息 反序列化TaskDescription 点击进入decode方法 Executor会通过 launchTask执行 Task。 点击进入launchTask方法 Executor的launchTask...原创 2019-07-02 18:00:43 · 270 阅读 · 0 评论 -
单手解Spark之spark-shell
打开spark-shell脚本 上图可知,spark-shell脚本会调用spark-submit脚本,我们接着打开spark-submit脚本 打开脚本 spark-class 脚本 spark-submit在执行 spark-class脚本时,给它增加了参数 SparkSubmit 。 Spark 启动了以 SparkSubmit 为主类的 JVM 进程 。 点击进入i...原创 2019-07-02 12:10:03 · 179 阅读 · 0 评论 -
单手解Spark之脚本三剑客源码跟踪
通过上面两张图可以看到,执行start-master.sh脚本,最后会找到org.apache.spark.deploy.master.Master这个类 我们接着来看看这个类是啥 往下滚,滚到onStart函数 我们再来看另外一个脚本start-slave.sh,一样的套路 接着我们再来看spark-submit脚本 直接看伴生类的main方法 ...原创 2019-06-27 19:45:39 · 178 阅读 · 0 评论