SparkSubmit 启动spark任务脚本

最新推荐文章于 2023-12-12 13:11:27 发布

桔梗的犬夜叉

最新推荐文章于 2023-12-12 13:11:27 发布

阅读量260

点赞数

分类专栏： Spark

本文链接：https://blog.csdn.net/LL9504/article/details/103167110

版权

Spark 专栏收录该内容

5 篇文章 1 订阅

订阅专栏

#spark-submit路径
sparksubmits="/opt/cloudera/parcels/SPARK2/bin/spark2-submit"
#jar包所在本地目录
echo "begin running MarkLabelLogicDriver model"
#使用spark-submit提交spark程序
su root -c "$sparksubmits --class cn.com.trs.topic.news.MarkLabel.MarkLabelDriver \
--master yarn \
--driver-cores 1 \
--driver-memory 2g \
--deploy-mode cluster \
--executor-cores 1 \
--num-executors 16 \
--executor-memory 1g \
--name MarkLabeLogiclDriver \
/usr/java/checkpoint/markLabelLogic/SSE_ST2_ANALYSIS_SPARK_LABEL.jar \
XZ 4 20"