通过spark-shell脚本,剖析spark程序提交流程
vim打开spark-shell脚本可以看到下面这段脚本
spark-shell代码片段:
可以看到在spark-shell脚本中调用了spark-submit脚本,打开spark-submit脚本发现包含如下脚本:
可以看到在spark-submit脚本中,首先检查是否设置了SPARK_HOME,然后调用了spark-class,增加了参数SparkSubmit。
打开spark-class...
原创
2018-11-27 12:42:18 ·
1534 阅读 ·
0 评论