Spark 本地连接远程服务器上带有kerberos认证的Hive

已于 2022-11-18 15:17:43 修改
阅读量4.7k 收藏 11
点赞数 2
分类专栏： Spark # hive 文章标签： hive spark 服务器
于 2021-11-01 19:41:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dkl12/article/details/121086976
版权
Spark 同时被 2 个专栏收录
76 篇文章 8 订阅 ¥49.90 ¥99.00
订阅专栏 超级会员免费看
hive
16 篇文章 1 订阅
订阅专栏
本文详细介绍了如何在本地环境下通过Spark连接到远程服务器上带有kerberos认证的Hive。首先，讨论了在服务器上直接提交Spark程序进行认证的两种方法，接着详细阐述了本地连接的步骤，包括环境配置、核心配置文件的使用，以及遇到的异常及解决过程。最终，通过在代码中设置Spark和Hadoop的属性，并确保配置文件正确同步到classpath，成功解决了认证问题。
摘要由CSDN通过智能技术生成

前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站：https://www.captainai.net/dongkelun

前言

因为公司的测试环境带有kerberos，而我经常需要本地连接测试集群上的hive，以进行源码调试。而本地认证远程集群的kerberos，并访问hive，和在服务器上提交Spark程序代码有些不同，所以专门研究了一下
并进行总结。

服务器上

在服务器上提交Spark程序认证kerberos比较简单，有两种方法：

  • 使用kinit 缓存票据 kinit -kt /etc/security/keytabs/hive.service.keytab hive/indata-192-168-44-128.indata.com@INDATA.COM，然后提交Spark程序即可
  • 在spark-submit 中添加参数 --principal hive/indata-192-168-44-128.indata.com@INDATA.COM --keytab /etc/security/keytabs/hive.service.keytab

本地

了解本专栏 订阅专栏 解锁全文 超级会员免费看
董可伦
关注
专栏目录
订阅专栏
Spark Client 配置
主要分享大数据相关的知识，如Spark、Hudi
05-18 153
记录Spark Client 配置，这里的 Spark Client 和 HDFS、YARN 不在一个节点，只是一个单节点的 Spark Client，需要能连接其他节点的大数据集群的 Hive 和 能提交到Yarn。
spark-scala代理认证hadoop的kerberos.rar
10-11
spark scala认证和代理认证hadoop的kerberos代码示例。
kerberos-04.spark连接kerberos认证的hive
github_39319229的博客
05-08 1037
在服务器下载配置文件放在本地项目resources目录下 定义好kerberos认证方法,先进行认证再执行其他代码即可，示例代码如下 import org.apache.spark.SparkConf import org.apache.spark.sql.SparkSession import org.apache.hadoop.security.UserGroupInformation object day03 { def main(args: Array[String]): Unit = .
Spark连接访问Hive数据
最新发布
2401_82567159的博客
08-04 562
Spark访问Hive数据
【Spark】spark使用jdbc连接带有kerberos认证的hive jdbc
善皮之的博客
03-12 1856
使用spark jdbc API 访问带有kerberos的hive jdbc获取数据
Spark On kubernetes连接kerberos认证的hive
im_cheer的博客
05-15 710
Spark通过yarn、kubernetes连接kerberos 认证的Hive
Spark连接ES实现kerberos认证
dkjhl的博客
09-15 2464
Mechanism level: Server not found in Kerberos database (7) - LOOKING_UP_SERVER spark连接ES，kerberos认证 Missing required negotiation token Mechanism level: Request is a replay (34)
通过DBeaver本地访问远程Kerberos环境下的Hive
主要分享大数据相关的知识，如Spark、Hudi
12-01 2661
我的原创地址：https://dongkelun.com/2021/06/03/dbeaverConnectKerberosHive/ 前言 本文讲解如何通过数据库客户端界面工具DBeaver连接远程Kerberos环境下的Hive。 因为在远程服务器上的命令行里写SQL查询Hive表，如果数据量和表字段比较多，命令行界面不利于分析表数据，所以需要客户端工具如DBeave远程连接Hive查询数据，但是DBeaver默认的不能访问Kerberos下的Hive，需要一些配置才可以访问，这里记录一下。 1、D
Kerberos安全认证-连载10-Hive Kerberos 安全配置及访问_idea连接 kerberos 认证的hiveserver2
m0_60607562的博客
04-05 773
hivemetastore 开启kerberos认证truemetastore kerberos主体metastore keytab密钥文件路径修改core-site.xml中相关代理配置为hive代理用户,node1~node5节点core-site.xml中修改如下配置项:允许hive用户在任意主机节点代理任意用户和任意组以上配置分发到Hadoop各个集群节点后，
[Spark版本更新]--2.3.0发行说明
热门推荐
欢迎来到我的博客，一起探索代码里的世界！
03-03 1万+
自从2017年12月1日发布spark-2.2.1以来，已有3个月时间。2018年2月28日，spark官方发布了一个大版本Spark-2.3.0，解决了1399个大大小小的问题。一、DataBricks做了相关说明今天，我们很高兴地宣布Databricks上的Apache Spark 2.3.0作为其Databricks Runtime 4.0的一部分。我们要感谢Apache Spark社区为S...
kerberos安全认证
12-29
kerberos安全认证demo，内含spark、oozie、mr、kafka、hive、hdfs、hbase等认证代码，并有对应开发文档等信息。。。
Spark-代码-整合Hive并进行kerberos认证
DCHAO的博客
02-05 5583
- SparkSQL整合Hive做数据源 - Spark程序连接Hive时进行kerberos认证
Spark SQL Thrift Server 配置 Kerberos身份认证和权限管理
weixin_30315435的博客
10-25 1103
　转载请注明出处：http://www.cnblogs.com/xiaodf/ 　　之前的博客介绍了通过Kerberos + Sentry的方式实现了hive server2的身份认证和权限管理功能，本文主要介绍Spark SQL JDBC方式操作Hive库时的身份认证和权限管理实现。 　ThriftServer是一个JDBC/ODBC接口，用户可以通过JDBC/ODBC连接Thrift...
elasticsearch 实现基于spark的kerberos认证
coreych的专栏
03-02 1896
elasticsearch 实现基于spark的kerberos认证
Spark2.4.0 访问hive(集成kerberos)（scala）
dfdf123123的博客
09-12 1552
Spark2.4.0（scala） 1.kerberso 认证（需要将相应用户的keytab文件引入本地） 代码如下： class KerberosAuth1 { def kerberosAuth(debug: Boolean): Unit = { try { System.setProperty("java.security.krb5.conf", "D:\\c...
本地spark连接远程hive报错
xiaolin93的博客
04-21 1219
Spark远程连接hive报异常 bin/hive --service metastore &. 没有启动这个服务
使用Spark读取Hive数据，数据存储
搬砖の隔壁老王
09-23 1686
使用spark操作hive库的数据，在日常业务中随处可见，记录一下…… 话不多说 1、无论使用idea或者eclipse，创建工程后，spark、hive 的相关pom . <properties> <spark.core.version>2.4.0</spark.core.version> <scala.version>2.11</scala.version> <build_scope>compile&
单机spark2.1.2-kerberos安装
SimpleSimpleSimples的博客
02-02 352
1.上传spark的安装包解压并，重命名 [hadoop@host151 bigdata]$ tar xvf spark-2.1.1-bin-hadoop2.6.tar.gz [hadoop@host151 bigdata]$ mv spark-2.1.1-bin-hadoop2.6 spark 2.修改spark-defaults.conf [hadoop@host151 conf]$ c...
spark整合hive并进行kerberos认证
03-16
Spark可以通过使用Hive的元数据来访问Hive表。要在Spark中整合Hive，需要在启动Spark时将Hive的JAR文件添加到Spark的CLASSPATH中。同时，还需要在SparkConf中设置hive.metastore.uris属性，以指定Hive元数据存储的位置。 在进行Kerberos认证时，需要在SparkConf中设置以下属性： - spark.authenticate.enableSasl：启用SASL认证。 - spark.yarn.security.credentials.hive.enabled：启用Hive的Kerberos认证。 - spark.hadoop.security.authentication：设置Hadoop的认证方式为Kerberos。 - spark.hadoop.security.authorization：启用Hadoop的授权功能。 此外，还需要在启动Spark时指定Kerberos的相关配置，包括Kerberos的keytab文件和principal。 例如，可以使用以下代码启动Spark并进行Kerberos认证： ``` val conf = new SparkConf() .setAppName("Spark Hive Kerberos") .setMaster("yarn") .set("spark.authenticate.enableSasl", "true") .set("spark.yarn.security.credentials.hive.enabled", "true") .set("spark.hadoop.security.authentication", "kerberos") .set("spark.hadoop.security.authorization", "true") .set("spark.executor.extraJavaOptions", "-Djava.security.auth.login.config=/path/to/jaas.conf") .set("spark.driver.extraJavaOptions", "-Djava.security.auth.login.config=/path/to/jaas.conf") UserGroupInformation.setConfiguration(conf) UserGroupInformation.loginUserFromKeytab("user@EXAMPLE.COM", "/path/to/user.keytab") val spark = SparkSession.builder() .config(conf) .enableHiveSupport() .getOrCreate() ``` 其中，/path/to/jaas.conf是Kerberos的JAAS配置文件，user@EXAMPLE.COM是Kerberos的principal，/path/to/user.keytab是Kerberos的keytab文件。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

董可伦

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值