在kerberos化hadoop集群提交spark任务

原创博客，转载请说明出处。

在kerberos集群上提交 spark任务复杂性远远高于非kerberos集群，提交spark任务分为两种模式：yarn-client和yarn-cluster模式。

1.yarn-client模式

使用yarn-client模式提交，提交任务的client节点作为spark driver，executor在yarn container中启动，运行日志和状态信息都可以在client节点上看到，一般测试和调试使用yarn client模式。

在kerberos集群中，使用yarn-client模式提交任务命令如下:
/usr/hdp/current/spark2-client/bin/spark-submit
–principal test_user@BIGDATA.COM
–keytab /home/test_user/test_user.keytab
–files /home/test_user/jaas.conf#jaas.conf,/home/test_user/test_user.keytab#test_user.ke
ytab
–conf “spark.executor.extraJavaOptions=-Djava.security.auth.login.config=/home/test_user/jaas.conf”
–driver-java-options “-Djava.security.auth.login.config&#