配置Spark是否获取HBase Token

28 篇文章 0 订阅
首先我们先看一下Spark官网对此的解释

在这里插入图片描述

如果 HBase 在类路径中,将获得 HBase 令牌,HBase 配置声明应用程序是安全的(即 hbase-site.xml 将 hbase.security.authentication 设置为 kerberos),并且 spark.yarn.security.credentials.hbase.enabled未设置为假。

配置场景

使用Spark提交任务时,Driver默认会去HBase获取Token,访问HBase则需要配置文件“jaas.conf”进行安全认证。此时若用户未配置“jaas.conf”文件,会导致应用运行失败。

因此,根据应用是否涉及HBase进行以下处理:

  • 当应用不涉及HBase时,即无需获取HBase
    Token。此时,将“spark.yarn.security.credentials.hbase.enabled”设置为“false”即可。

  • 当应用涉及HBase时,将“spark.yarn.security.credentials.hbase.enabled”设置为“true”,且需要在Driver端配置“jaas.conf”文件,配置如下:

{client}/spark/bin/spark-sql  
--master yarn-client 
--principal {principal} 
--keytab {keytab} 
--driver-java-options "-Djava.security.auth.login.config={LocalPath}/jaas.conf"
  • 在“jaas.conf”中指定Keytab和Prinical,示例如下:
Client {
com.sun.security.auth.module.Krb5LoginModule required
useKeyTab=true
keyTab = "{LocalPath}/user.keytab"
principal="super@<系统域名>"
useTicketCache=false
debug=false;
};

但是,我在spark-3.0.1上去搜索 spark.yarn.security.credentials.hbase.enabled 这个参数 却搜不到了,不知为啥???

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值