Spark源码解析
文章平均质量分 87
古月慕南
这个作者很懒,什么都没留下…
展开
-
Spark源码初探-从spark-submit开始
深入了解spark的运行机制是为了搭建集群,编写应用能达到更好的性能表现,甚至更加深入的了解还可以自己修改源码,实现定制功能来适配自己的需求。仅仅通过一些spark架构和运行原理的描述来了解spark是远远不够的,所以打算系统的看一下spark的源码,以添加注释的方式写下自己的理解(尽量写的详细,很可能会显得啰嗦)。spark源码的版本为2.0.1,是当前最新的版本,平时抽点时间慢慢看,能看多少算原创 2016-11-03 23:02:07 · 3770 阅读 · 0 评论 -
spark源码解析-从提交任务到jar的加载运行(基于2.1.0版本)
本文分析的源码基于Spark2.1.0版本,如果有理解不当的地方欢迎批评指正。在之前的一篇文章中我们分析了Spark-submit脚本,发现该脚本会调用spark-class脚本检查参数设置,以及提交任务。最后发现,提交任务的入口类是org.apache.spark.deploy.SparkSubmit 我们接下来深入这个类,看看从提交任务到执行用户jar包之间都发生了什么; 首先找到原创 2017-05-19 13:30:41 · 2412 阅读 · 0 评论