Spark On kubernetes连接kerberos认证的hive

已于 2023-05-15 20:35:07 修改
阅读量649 收藏 1
点赞数
分类专栏： 大数据 文章标签： spark kubernetes hive
于 2023-05-15 10:30:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/im_cheer/article/details/130679246
版权

Spark通过yarn、kubernetes连接kerberos 认证的Hive，需要把hive-site.xml以及hadoop的conf下的xml文件，都放到Spark 的conf目录下，官网写的设置HADOOP_CONF_DIR环境变量我自己测试在容器外是无效的，到认证时，一直报错Failed to find any Kerberos tgt，且Kerberos Server也没有收到任何验证信息。需要将HADOOP_CONF_DIR环境变量以及对于的配置文件一起打到镜像内，如

        ENV HADOOP_CONF_DIR=/opt/spark/conf/

        CP hdfs-site.xml core-site.xml /opt/spark/conf 

其次，需要保证供kubernetes调用的spark镜像内，与KDC、Hadoop集群的网络、域名解析都是通畅的。

最后spark-submit时，传入参数

--conf spark.kerberos.keytab=<KEYTAB_FILE> \
 --conf spark.kerberos.principal=<PRINCIPAL> \
 --conf spark.kubernetes.kerberos.krb5.path=/etc/krb5.conf

这样在spark程序能直接enableHiveSupport，就可以连接上kerberos认证的hive

测试时不用测试spark standalone mode，截止至3.4.0版本，仅yarn 和kubernetes、mesos支持kerberos认证，其它模式均不支持。

im_cheer
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark on K8S（spark-on-kubernetes-operator）常见问题（二）
weixin_42305433的博客
01-17 2080
Spark on K8S（spark-on-kubernetes-operator）环境搭建以及demo过程（二）Spark Demo过程中的常见问题（二）Spark的executor/driver怎么持久化日志Spark history server怎么配置生效Spark-operator namespace下的xxxxx-webhook是做什么的 Spark Demo过程中的常见问题（二） S...
【Spark】spark使用jdbc连接带有kerberos认证的hive jdbc
善皮之的博客
03-12 1679
使用spark jdbc API 访问带有kerberos的hive jdbc获取数据
Spark的安全与权限管理
最新发布
qq_53058639的博客
04-26 808
Spark是一个快速、易用、高吞吐量和广度的大数据处理框架。它广泛应用于数据处理、机器学习、图像处理等领域。随着Spark的广泛应用，数据安全和权限管理变得越来越重要。Spark的安全与权限管理背景Spark的核心概念与联系Spark的核心算法原理和具体操作步骤以及数学模型公式详细讲解Spark的具体代码实例和详细解释说明Spark的未来发展趋势与挑战Spark常见问题与解答。
Kerberos安全认证-连载10-Hive Kerberos 安全配置及访问
qq_32020645的博客
06-22 4057
技术连载系列，前面内容请参考前面连载9内容:​​​​​​​Hive底层数据存储在HDFS中，HQL执行默认会转换成MR执行在Yarn中，当HDFS配置了Kerberos安全认证时，只对HDFS进行认证是不够的，因为Hive作为数据仓库基础架构也需要访问HDFS上的数据。因此，为了确保整个大数据环境的安全性，Hive也需要配置Kerberos安全认证，这样可以控制对Hive和底层HDFS数据的访问权限，防止未经授权的访问和操作，确保数据的安全性。目前对HDFS进行了Kerberos安全认证后，在Hive。
kerberos集群spark访问 非kerberos集群hbase
c275090933的专栏
08-09 504
版本hadoop3.x，spark3.x 有两种方式：一种是本地shell，kinit认证kerberos之后访问；另一种是spark-shell中添加--keytab方式 spark任务中统一的访问方式： conf.set(HConstants.ZOOKEEPER_CLIENT_PORT, hbaseZookeeperPort) conf.set(HConstants.ZOOKEEPER_QUORUM, hbaseZookeeperQuorum) conf.set(HConstants.ZOOKE
Kerberos安全认证-连载10-Hive Kerberos 安全配置及访问_idea连接 kerberos 认证的hiveserver2
2401_83627805的博客
04-11 722
hivemetastore 开启kerberos认证truemetastore kerberos主体metastore keytab密钥文件路径```以上配置分发到Hadoop各个集群节点后，将hdfs配置文件hdfs-site.xml，core-site.xml 发送到客户端和服务端HIVE_HOME/conf/目录中。​​​​​​​注意：无论使用哪种方式通过beeline连接hive，针对kerberos认证的hive都需要指定principal参数。
kerberos认证hive连接代码
12-05
本篇将详细介绍如何在Spring MVC框架中配置Kerberos认证，并通过Java代码与Hive建立安全连接。 首先，`Kerberos认证`是一种基于票据的认证机制，它通过三向握手确保了通信双方的身份，并防止中间人攻击。在Hive中...
python3.6.5基于kerberos认证的hive和hdfs连接调用方式
09-16
在本文中，我们将深入探讨如何使用Python 3.6.5版本通过Kerberos认证来连接Hive和HDFS。Kerberos是一种广泛使用的网络身份验证协议，它为不安全的网络环境提供了安全的身份验证机制。它依赖于共享密钥加密来确保通信...
hive2-jdbc:Hive JDBC连接示例，包括简单和kerberos身份验证方法
04-28
Hive JDBC连接示例该项目展示了如何使用各种不同的方法连接到Hiveserver2。 所有类仅适用于Hiveserver2。 正在使用Cloudera JDBC驱动程序，可以从下载。 在撰写本文时，最新版本为v2.5.15 。要求： 您需要下载驱动...
centos7 pyhive连接hive（基于kerberos安全验证）
07-23
CentOS 7 PyHive 连接 Hive（基于 Kerberos 安全验证） CentOS 7 PyHive 连接 Hive（基于 Kerberos 安全验证）是指使用 PyHive 库连接 Hive 服务器，并使用 Kerberos 进行身份验证。Kerberos 是一种广泛使用的身份...
spark 通过kerberos认证连接impala 获取ResultSet集合转为DataFrame 并写入hive
qq_52095156的博客
06-20 844
def main(args: Array[String]): Unit = { val impala_db = args(2) // 查询impala库 val impala_tab = args(3) // 查询表名 val query_where = args(4) //查询条件 如Scan全表传空字符串 val LOGGER = LoggerFactory.getLogger(RimpalaDemo2.getClass)//设置日志 // jdbc url 使用kerbero
spark-scala代理认证hadoop的kerberos.rar
10-11
spark scala认证和代理认证hadoop的kerberos代码示例。
spark + hadoop 访问 基于Kerberos 安全认证、授权的hdfs集群
dymkkj的专栏
03-16 6678
1.在本地安装kerberos client 组件 yum install krb5-user libpam-krb5 libpam-ccreds auth-client-config yum install krb5-workstation 2.拷贝kerberos 集群的 /etc/krb5.conf 到本地 的 /etc/ (覆盖组件初始化的krb5.conf） 3.拷贝...
Spark on k8s 试用步骤
weixin_34357928的博客
12-16 679
背景：Spark 2.3.0 开始支持使用k8s 作为资源管理原生调度spark。使 用k8s原生调度的spark主要有以下好处： 采用k8s原生调度，不再需要二级调度，直接使用k8s原生的调度模块，实现与其他应用的混布；资源隔离：任务可以提交到指定的namespace，这样可以复用k8s原生的qouta限制，实现任务资源的限制；资源分配：可以指定每个s...
Spark(Scala)连接带Kerberos认证的Hbase
热门推荐
17611119847
07-22 4万+
参数 zookeeperQuorum：zookeeper主机名/IP clientPort：zookeeper端口 znodeParent：Hbase在zookeeper中的元数据节点(可在Hbase配置文件中或者ZkCli中查看该配置) kerberosConfPath：krb5.conf路径(可放在项目的resurces目录下) principal：具有访问权限的Kerberos票据 keytabPath：Kerberos票据对应的keytab路径 Java版代码 连接代码 import org.a
Spark on Kubernetes官方实现及基于K8S的Operator设计模式
Dreamming Time的博客
12-03 1619
简述 Cloud云服务日益普遍，其后的支撑但是容器化的集群，所谓容器化（Containerization）就是将各种系统或用户服务，通过熟知的容器编排（Orchestration）工具，如docker、kubernetes等，部署运行，而不是直接与服务器直接打交道，容器化的服务大大减轻了服务部署、运维及资源控制等的繁琐程度，同时也使服务更加的健壮。 而Spark 2.3之前的版本，如果想要使用容器化的部署方式，只能通过mesos、yarn，但还不支持在Kubenetes集群上部署，至于他们之间的差异，或是优
Spark SQL Thrift Server 配置 Kerberos身份认证和权限管理
weixin_30315435的博客
10-25 1061
　转载请注明出处：http://www.cnblogs.com/xiaodf/ 　　之前的博客介绍了通过Kerberos + Sentry的方式实现了hive server2的身份认证和权限管理功能，本文主要介绍Spark SQL JDBC方式操作Hive库时的身份认证和权限管理实现。 　ThriftServer是一个JDBC/ODBC接口，用户可以通过JDBC/ODBC连接Thrift...
spark整合hive并进行kerberos认证
03-16
Spark可以通过使用Hive的元数据来访问Hive表。要在Spark中整合Hive，需要在启动Spark时将Hive的JAR文件添加到Spark的CLASSPATH中。同时，还需要在SparkConf中设置hive.metastore.uris属性，以指定Hive元数据存储的位置。 在进行Kerberos认证时，需要在SparkConf中设置以下属性： - spark.authenticate.enableSasl：启用SASL认证。 - spark.yarn.security.credentials.hive.enabled：启用Hive的Kerberos认证。 - spark.hadoop.security.authentication：设置Hadoop的认证方式为Kerberos。 - spark.hadoop.security.authorization：启用Hadoop的授权功能。 此外，还需要在启动Spark时指定Kerberos的相关配置，包括Kerberos的keytab文件和principal。 例如，可以使用以下代码启动Spark并进行Kerberos认证： ``` val conf = new SparkConf() .setAppName("Spark Hive Kerberos") .setMaster("yarn") .set("spark.authenticate.enableSasl", "true") .set("spark.yarn.security.credentials.hive.enabled", "true") .set("spark.hadoop.security.authentication", "kerberos") .set("spark.hadoop.security.authorization", "true") .set("spark.executor.extraJavaOptions", "-Djava.security.auth.login.config=/path/to/jaas.conf") .set("spark.driver.extraJavaOptions", "-Djava.security.auth.login.config=/path/to/jaas.conf") UserGroupInformation.setConfiguration(conf) UserGroupInformation.loginUserFromKeytab("user@EXAMPLE.COM", "/path/to/user.keytab") val spark = SparkSession.builder() .config(conf) .enableHiveSupport() .getOrCreate() ``` 其中，/path/to/jaas.conf是Kerberos的JAAS配置文件，user@EXAMPLE.COM是Kerberos的principal，/path/to/user.keytab是Kerberos的keytab文件。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值