spark-submit \
--master yarn \
--deploy-mode cluster \
--driver-cores 4 \
--driver-memory 2g \
--executor-cores 4 \
--num-executors 100 \
--executor-memory 6g \
--name taskName\
--conf spark.default.parallelism=1000 \
--class com.cn.service.XXXClass /home/Test/XXX.jar \
【Spark】提交yarn常用配置结构
最新推荐文章于 2023-03-29 11:29:15 发布