JDK8 和 JDK17 下基于JDBC连接Kerberos认证的Hive(代码已测试通过)_module java(3)

于 2024-05-16 01:04:38 发布
阅读量377 收藏 10
点赞数 4
文章标签： 单元测试 功能测试 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84563875/article/details/138930194
版权

img
img

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

1. JDK8 使用JDBC 连接 Kerberos认证的Hive

根据自身实际情况添加依赖

pom.xml
   <properties>
        <hive.version>2.1.1</hive.version>
    </properties>
    <dependencies>
        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-jdbc</artifactId>
            <version>${hive.version}</version>
        </dependency>
    </dependencies>
HiveJdbcByJdk8.java

我在jdk8上连接并没有花太多时间,网上大多数JDK8过Kerberos代码也是这样的:

第一步设置系统属性,配置krb5.conf,
第二步通过UserGroupInformation设置principal 和 对应的keytab文件

由于我们配置了

System.setProperty(“sun.security.krb5.debug”, “true”);

打开了debug后,如果是正常情况,我们能观察到控制台会打印到krb5.conf相关内容信息
出现问题优先根据debug日志查看,如果没有打印出krb5文件内容,去看看相关文件的路径是否存在或者是文件权限程序无法访问(建议测试时调777)

import org.apache.hadoop.security.UserGroupInformation;
import org.apache.hadoop.conf.Configuration;

import java.io.IOException;
import java.sql.\*;

public class HiveJdbcByJdk8 {
 public static void main(String[] args) throws ClassNotFoundException, IOException {

        // 1.加载Kerberos配置文件,必须写在Configuration对象之前
        System.setProperty("sun.security.krb5.debug", "true");
        System.setProperty("java.security.krb5.conf", "/home/guzhenzhen/yf-kerberos/test/krb5.conf");

        // 2.设置Kerberos认证
        Configuration configuration = new Configuration();
        configuration.set("hadoop.security.authentication", "Kerberos");
        UserGroupInformation.setConfiguration(configuration);
        UserGroupInformation.loginUserFromKeytab("hive/admin", "/home/guzhenzhen/yf-kerberos/test/hive.keytab");

        // 3.JDBC连接字符串
        String jdbcURL = "jdbc:hive2://yfashmd02.yfco.yanfengco.com:10000/test\_jt;principal=hive/\_HOST@AUTOEXPR.COM";

        Class.forName("org.apache.hive.jdbc.HiveDriver");

        try {
            // 4.创建Hive连接
            Connection connection = DriverManager.getConnection(jdbcURL, "", "");
            // 5.执行Hive查询
            Statement statement = connection.createStatement();
            ResultSet rs = statement.executeQuery("SELECT id,name,age FROM student");

            // 6.处理查询结果
            while (rs.next()) {
                System.out.println(rs.getInt(1) + "," + rs.getString(2) + "," + rs.getInt(3));
            }

            // 7.关闭连接
            rs.close();
            statement.close();
            connection.close();
        } catch (SQLException e) {
            e.printStackTrace();
        }

    }
}

如果出现了

jdk8报错:Message stream modified (41)报错

需要注释krb5.conf 的renew_lifetime属性,解决问题来源https://bbs.huaweicloud.com/forum/thread-72437-1-1.html
下面是krb5.conf参考

[libdefaults]
# default\_realm = EXAMPLE.COM 
	default_realm = AUTOEXPR.COM
	dns_lookup_realm = false
	dns_lookup_kdc = false
	ticket_lifetime = 24h
# jdk8报错:Message stream modified (41)报错,需要注释renew\_lifetime
# https://bbs.huaweicloud.com/forum/thread-72437-1-1.html
# renew\_lifetime = 7d
	allow_weak_crypto = true
	forwardable = true
	default_ccache_name = FILE:/tmp/krb5cc_%{uid}
	
[realms]
...
[domain_realm]
...
[logging]
...

下面出现的问题

Peer indicated failure: Unsupported mechanism type PLAIN

java.lang.NoClassDefFoundError: Could not initialize class org.apache.hadoop.security.UserGroupInformation

均可以通过搜索+更换jar包依赖替换解决问题,

2. JDK17 使用JDBC 连接 Kerberos认证的Hive

pom.xml

pom.xml不变

   <properties>
        <hive.version>2.1.1</hive.version>
    </properties>
    <dependencies>
        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-jdbc</artifactId>
            <version>${hive.version}</version>
        </dependency>
    </dependencies>
第一种 HiveJdbcByJdk17
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.security.UserGroupInformation;

import java.io.IOException;
import java.sql.\*;
public class HiveJdbcByJdk17 {

    public static void main(String[] args) throws ClassNotFoundException, IOException {

        // 1.加载Kerberos配置文件
// System.setProperty("java.security.auth.login.config", "/home/guzhenzhen/yf-kerberos/test/gss-jaas.conf");
// System.setProperty("sun.security.jgss.debug", "true");
// System.setProperty("javax.security.auth.useSubjectCredsOnly", "false");
        System.setProperty("java.security.krb5.conf", "/home/guzhenzhen/yf-kerberos/test/krb5.conf");
        System.setProperty("sun.security.krb5.debug", "true");


        // 2.设置Kerberos认证
        Configuration configuration = new Configuration();
        configuration.set("hadoop.security.authentication", "Kerberos");
        UserGroupInformation.setConfiguration(configuration);
        UserGroupInformation.loginUserFromKeytab("hive/admin", "/home/guzhenzhen/yf-kerberos/test/hive.keytab");

        // 3.JDBC连接字符串
        String jdbcURL = "jdbc:hive2://yfashmd02.yfco.yanfengco.com:10000/test\_jt;principal=hive/\_HOST@AUTOEXPR.COM";

        Class.forName("org.apache.hive.jdbc.HiveDriver");

        try {
            // 4.创建Hive连接
            Connection connection = DriverManager.getConnection(jdbcURL, "", "");
// 5.执行Hive查询
            Statement statement = connection.createStatement();
            ResultSet rs = statement.executeQuery("SELECT id,name,age FROM student");

            // 6.处理查询结果
            while (rs.next()) {
                System.out.println(rs.getInt(1) + "," + rs.getString(2) + "," + rs.getInt(3));
            }

            // 7.关闭连接
            rs.close();
            statement.close();

            connection.close();
        } catch (SQLException e) {
            e.printStackTrace();
        }

    }

}

代码本质和jdk8一模一样,但是会报错

Caused by: java.lang.IllegalAccessException: class org.apache.hadoop.security.authentication.util.KerberosUtil
cannot access class sun.security.krb5.Config (in module java.security.jgss)
because module java.security.jgss does not export sun.security.krb5 to unnamed module @770c2e6b

报错信息;
KerberosUtil 无法访问类sun.security.krb5.Config (in module java.security.jgss) 因为java.security.jgss没有向未命名模块到出java.security.jgss

官网文档写了sun.security.krb5.Config 包位于java8中的rt.jar.
但从java9之后rt.jar and tools.jar 不复存在,因为在Java 9及之后引入的模块系统中，模块必须显式声明它们要导出的包，以便其他模块可以访问。

一个简单的解决办法,添加JVM启动参数来临时解决这个问题(来源https://www.baeldung.com/spring-security-kerberos-integration):

–add-exports=java.security.jgss/sun.security.krb5=ALL-UNNAMED

在idea中调试中,我们
Run/Debug Configurations ->Modify options -> add VM options,在VM options的input框填入上述参数即可,具体参考图片
在这里插入图片描述在这里插入图片描述

若是jar包启动,则是 java --add-exports=java.security.jgss/sun.security.krb5=ALL UNNAMED -jar yourJarName.jar

img
img

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

中…(img-3ewuVuoo-1715792656535)]
[外链图片转存中…(img-Fhts0DRo-1715792656536)]

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

2401_84563875
关注
Java应用/JDBC/Squirrel在Kerberos认证时报Unable to obtain Principal Name for authentication的解决方法
Laurence的技术博客
07-12 1万+
Java应用/JDBC/Squirrel在Kerberos认证时报Unable to obtain Principal Name for authentication的解决方法 关于如何在Windows本地安装配置Kerberos客户端，以及进行相关的配置，网上有很多现成的文档可以参考，其中： https://841809077.github.io/2018/12/19/Windows本地安装配置...
python的jaydebeapi连接hive数据库的踩坑血泪史，含环境问题和TypeError: Class org.apache.hive.jdbc.HiveDriver is not found
weixin_45901516的博客
03-29 3511
目前环境： windows10 64位+spyder3 64位+python3.7 64位+python3.10 64位+Jpype1 64位（不同python版本需要下载不同的Jpype1版本）+Java jdk1.8.0_91 64位 背景：想通过python脚本直连数据库取数即做图表分析，但是发现环境问题一堆，每一次的环境调试都是一把心酸泪，以此记录，望能助君跳坑~ 1、一开始系统直接安装的python版本是3.7，但是在spyder中将对应路径下的python.exe设置为python控制器总是不
Java通过JDBC连接Hive
03-20
压缩包中包含Java通过JDBC连接Hive所需的jar包。包含有，antlr-runtime-3.0.1.jar;commons-logging-1.0.4.jar;hadoop-core-1.2.1.jar;hive-exec-0.10.0.jar;hive-jdbc-0.13.1.jar;hive-metastore-0.9.0.jar;hive-service-0.13.1.jar;httpclient-4.2.5.jar;httpcore-4.2.4.jar;jdo2-api-2.3-ec.jar;libfb303-0.9.0.jar;libthrift-0.9.0.jar;log4j-1.2.16.jar;slf4j-api-1.6.1.jar;slf4j-log4j12-1.6.1.jar.
JDK8 和 JDK17 下基于JDBC连接Kerberos认证的Hive(代码已测试通过)
mizuhokaga的博客
02-02 2132
打开了debug后,如果是正常情况,我们能观察到控制台会打印到krb5.conf相关内容信息,出现问题优先根据debug日志查看,如果没有打印出krb5文件内容,去看看路径/文件权限。之前自研平台是基于jdk8开发的,连接带Kerberos的hive也是jdk8,现在想升级jdk到17,发现过Kerberos的hive有点不一样,特地记录。写了sun.security.krb5.Config 包位于java8中的rt.jar,从java9之后rt.jar and tools.jar 了。
用Java代码通过JDBC连接Hiveserver2
liyonghui123的专栏
02-06 681
          我们可以通过CLI、Client、Web UI等Hive提供的用户接口来和Hive通信，但这三种方式最常用的是CLI；Client 是Hive的客户端，用户连接至 Hive Server。在启动 Client 模式的时候，需要指出Hive Server所在节点，并且在该节点启动 Hive Server。 WUI 是通过浏览器访问 Hive。今天我们来谈谈怎么通过Hive...
Java JDBC连接Kerberos认证的HIVE 和 Impala
最新发布
Donnedaen的专栏
05-14 981
JDBC 连接 HIVE 和 Impala
jdbc通过kerberos认证连接hive
u012781057的博客
04-11 3347
jdbc通过kerberos认证连接hive
通过DBeaver本地访问远程Kerberos环境下的Hive
主要分享大数据相关的知识，如Spark、Hudi
12-01 2670
我的原创地址：https://dongkelun.com/2021/06/03/dbeaverConnectKerberosHive/ 前言 本文讲解如何通过数据库客户端界面工具DBeaver连接远程Kerberos环境下的Hive。 因为在远程服务器上的命令行里写SQL查询Hive表，如果数据量和表字段比较多，命令行界面不利于分析表数据，所以需要客户端工具如DBeave远程连接Hive查询数据，但是DBeaver默认的不能访问Kerberos下的Hive，需要一些配置才可以访问，这里记录一下。 1、D
Hadoop 配置 Kerberos 认证_hadoop kerberos认证
2401_84185182的博客
04-27 523
rw-r–r–. 1 root root 1298 10月 5 17:14 bd_ca_cert。-rw-r–r–. 1 root root 1834 10月 5 17:14 bd_ca_key。
通过java访问带有kerbores认证的impala,hive
weixin_42656794的博客
12-06 1084
因为公司需求要开发一个数据质量监控的组件，需要连接集群上的hive,impala。 1集群采用了kerbores认证，报了第一个错误 这是由于没有配置kerbores 2参考了网上的一块代码，连接带有认证的hbase的代码 System.setProperty(“java.security.krb5.conf”,“E:\learning\aaaa.keytab”); HiveConf conf...
JDK版本与JDBC版本的关系
12-03
JDK版本与JDBC版本的关系: Many other versions of the JDBC driver are available. This includes development versions, compatibility with older JDKs, and previous versions of the driver.
jdbc连接hiveserver2的jdk版本问题解决办法
08-12 542
在eclipse里面写了一个简单的tpch查询语句，但是一直连接不上hiveserver2，一直显示httpClient或者Cookie之类的找不到类的错误，但是所有相关的jar都已经打进去了。 折腾了很久之后，把eclipse里面的jdk从1.8换成了1.7，同时把编译器的...
Java语言08之JDBC
solololo的博客
09-24 134
存储过程预先存储在MySQL服务器上，需要执行的时候，客户端只需要向服务器端发出调用存储过程的命令，服务器端就可以把预先存储好的这一系列SQL语句全部执行。在SSC中，key为SQL语句，value为对应的执行计划。其实是因为SQL语句在程序运行前已经进行了预编译，在程序运行时第一次操作数据库之前，SQL语句已经被数据库解析、优化和编译，因此，PreparedStatement类的本质就是缓存执行计划，跳过SQL语句的编译过程并重用执行计划，以达到减轻数据库的负担、提高访问数据库的速度的目的。
java jdk8 源码解析之sql包：JDBC源码解析
mxy88888的博客
06-30 1038
在开发项目时我们经常会需要与数据库进行交互，为了统一标准，在java jdk中提供了一组与数据库交互的api（java.sql.*），每个厂商通过继承实现sql包下的接口和类完成与数据库交互的工作。以mysql为例。 ...
JDK17的安装
zouwuli的博客
07-06 1449
jdk的下载安装
Hadoop专栏（十一）在伪分布式中搭建HIVE（附解决jdk版本问题报错）
斯特凡今天也很帅的博客
12-08 1165
报错如下，原因是JDK版本太高，博主当时安装的是jdk11，后来换成jdk8就好了。另外，由于Hadoop中也需要JDK（修改环境变量，jdk11的安装文件位置会直接影响HADOOP的使用），所以博主灵机一动，将解压后的 jdk8更名为jdk11并放在同一文件夹（删除原来） [root@nodefour conf]# hive which: no hbase in (/root/software/jdk-11.0.8/bin:/root/software/jdk-11.0.8/bin:/root/soft
Java8——Java数据库编程（JDBC）
小金是个小菜鸡
06-21 673
JDBC简介： 数据库操作属于Java的服务范围；服务的最大特点：所有的操作部分几乎都是固定的流程；也就是说服务几乎没有技术含量，属于应用部分，代码的流程是固定的； JDBC：Java数据库连接技术，即：是由Java提供的一组与平台无关的数据库操作标准（是一组接口的组成），数据库属于资源操作，所以最后操作一定要关闭数据库！ JDBC技术范畴里实际上规定了4种Java数据库操作的形式： JDBC-ODBC：桥接技术（100%不用）； |- 在Windows中有ODBC技术，ODBC指的是...
JDK8不支持JDBC-ODBC桥（Java8丢弃了旧版本的方法）
zero_kill的博客
08-23 6333
老项目由于不可明说的原因，原用Java5开发，想运行于Java8上。虽有向下兼容，但是由于Java8中不支持ODBC桥，例如,引用jre某jar包失败，如下图所示： 类似上述问题，或者是其他的在Java5,6,7,中的特性，被Java8舍弃。导致无法编译。可用如下解决办法 1. 下载JDK 7或JRE 7。 2. 转到JRE \ lib文件夹并找到rt.jar 3. 解压缩它（如果你...
Java进阶-JDBC（八）
Daniel的博客
06-18 303
需求：查询数据表中数据，并显示在控制台上（1）创建数据库（jdbc）和表 （2）创建项目，导入环境 运行结果显示 2.4、执行SQL语句 三、完成JDBC增删改查操作 3.1、从数据库查询所有数据（入门案例） 3.2、向数据库增加数据 3.3、向数据库修改数据 3.4、从数据库根据ID删除数据 3.5、从数据库根据ID查询某条数据 3.6 定义一个方法，查询表中的数据将其封装为对象，然后装载集合，返回 （1）创建Emp类 （2）创建测试 运行结果： 4.2、使用工具类改写以上案例 4.3、使用
kerberos+Hadoop集群搭建详解：从环境准备到Hive应用
本文档详细介绍了如何在三台机器上搭建一个集成了Kerberos安全机制的Hadoop集群，以确保数据的安全性和访问控制。整个过程分为几个关键步骤： 1. 环境准备 - 使用root权限进行操作。 - 规划机器角色（可能是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值