spark提交脚本，记录相关信息

最新推荐文章于 2023-11-27 23:47:23 发布

lm709409753

最新推荐文章于 2023-11-27 23:47:23 发布

阅读量286

点赞数

分类专栏： spark

本文链接：https://blog.csdn.net/lm709409753/article/details/85158395

版权

spark 专栏收录该内容

9 篇文章 0 订阅

订阅专栏

主要是记录GC的相关内容，每个任务的最大重试次数。

/usr/lib/spark/bin/spark-submit --class com.centrality.kBC.kBCDriver --executor-cores 1 --executor-memory 10000M --master yarn-cluster --num-executors 28 --conf spark.driver.memory=10000m --conf spark.driver.extraJavaOptions="-Xms4000m -Xmx10000m" --conf spark.executor.extraJavaOptions="-verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps" --conf spark.kryo.registrationRequired=false --conf spark.serializer=org.apache.spark.serializer.KryoSerializer --conf spark.yarn.maxAppAttempts=1 --conf spark.task.maxFailures=10 /tmp/kbc_2.10-1.0.jar 4 50 /tmp/input/ /tmp/output/ loc-brightkite_edges.txt