spark 提交jar包运行

最新推荐文章于 2024-05-21 14:54:56 发布

zgx___

最新推荐文章于 2024-05-21 14:54:56 发布

阅读量554

点赞数

分类专栏：大数据文章标签： spark

本文链接：https://blog.csdn.net/zgx_plh/article/details/105688433

版权

大数据专栏收录该内容

1 篇文章 0 订阅

订阅专栏

./spark-submit --class RunIdMapping --name oot-xgboost-model
–master=yarn --queue root.xy_etl --driver-memory 40g --num-executors 200 --executor-cores 2 --executor-memory 6g --conf spark.yarn.am.memory=1g --conf spark.default.parallelism=400
–conf spark.dynamicAllocation.enabled=false --conf spark.yarn.maxAppAttempts=4
–conf spark.task.maxFailures=8 --conf spark.yarn.max.executor.failures=15 --conf spark.yarn.executor.failuresValidityInterval=1h
–conf spark.speculation=false --conf spark.executor.extraJavaOptions=" -XX:+UseG1GC "
–conf “spark.driver.extraJavaOptions=-Dlog4j.configuration=file:log4j.properties”
./graphx-1.0-SNAPSHOT.jar