Spark应用如何访问带Kerberos认证的CDH Hadoop集群

我用的是 Spark Standalone集群，当运行kinit命令导入证书，并把CDH Hadoop集群的配置文件放入spark/conf/目录后，提交应用发现还是无法访问CDH Hadoop。

后来查了下官网资料，貌似Standalone模式的Spark集群不支持访问Kerberos认证的Hadoop，我们可以使用Yarn Client模式管理的的Spark集群。

假设你的Hadoop集群是带Kerberos认证的，则你需要部署Hadoop(以2.4.0为例)集群；

注意，不需要创建hdfs, 只是用Hadoop安装包中的 sbin/start-yarn.sh来启动YARN集群。在这个YARN集群里同样部署一个Spark集群。具体步骤就不写了。

提交Spark应用时，注意 --master参数的变化：   spark-submit  --master yarn-client   ...

最后发现Spark应用可以通过Kerberos认证。