CDH或者大数据平台提交Spark任务shell方式

最新推荐文章于 2022-08-17 16:10:57 发布

拉普达男孩

最新推荐文章于 2022-08-17 16:10:57 发布

阅读量817

点赞数

分类专栏：大数据文章标签：大数据

本文链接：https://blog.csdn.net/ITwangnengjie/article/details/106546013

版权

大数据专栏收录该内容

25 篇文章 3 订阅

订阅专栏

##增加Kerberos认证，使用xxx.keytabl秘钥
spark-submit --principal yong_hu_ming@xxx.COM \
    --keytab yong_hu_ming.keytab \
    --class com.xx.compute.Job20200525 \
    --master yarn \
    --deploy-mode cluster \
    --num-executors   90 \
    --driver-memory 7g \
    --executor-memory 7g \
    --executor-cores 4 \
    --queue thequeue \
    --jars mysql-connector-java-5.1.39.jar \