前提:程序是放在服务器上运行,而非在自己电脑本机环境下运行
1 spark-sql 自己写的代码程序,不做任何改动
2 关键是 spark-submit的 --keytab,--principal参数
如
spark-submit --keytab /var/lib/hadoop-hdfs/hdfs.keytab --principal hdfs/hdfs@BAIDU.COM --class cn.baidu.service.ApplicationMain ./codeConvert-etl-1.0-SNAPSHOT-jar-with-dependencies.jar
kerberos相关的参数说明:
keytab:hdfs用户的kerberos的认证文件的详细目录地址
principal:hdfs-site.xml文件中,属性 dfs.datanode.kerberos.principal 定义的值