spark 源码阅读
关注
分享
扫一扫
将自己阅读spark阅读的源码的过程及想法写下来。
lofty老呆
做一名喜欢钻研的猿
展开
-
spark源码阅读-spark-submit任务提交流程(local模式)
从spark启动任务源头 $SPARK_HOME/bin/spark-submit 开始阅读spark源码。一、脚本阶段提交任务命令，先使用local模式spark-submit --master local --class com.lof.main.SparkPi /Users/user/Desktop/SparkPi.jarsparkPi代码：public class SparkP...原创 2020-03-27 11:10:14 · 1596 阅读 · 0 评论 -
spark 源码阅读 源码环境准备(mac)
题记：在有spark一定使用经验后再阅读源码，更易理解spark阅读，带有目的的阅读源码事半功倍。例如，想知道spark是如何完成spark-submit任务的，如何进行配置文件加载。源码环境工具环境OSmacjava1.8scala2.11maven3.5hadoop2.7.3spark2.3.2源码下载本次阅读选择spa...原创 2020-03-23 22:09:06 · 284 阅读 · 0 评论