Spark2.x源码分析---spark-submit提交流程
本文以spark on yarn的yarn-cluster模式进行源码解析,如有不妥之处,欢迎吐槽。
步骤1.spark-submit提交任务脚本
spark-submit
--class 主类路径 \
--master yarn \
--deploy-mode cluster \
--driver-memory 申请driver内存 \
--executor-memory 申请每个exec...
原创
2018-10-29 11:27:33 ·
654 阅读 ·
1 评论