Hive连接+Kerberos认证各种报错及解决办法汇总

最新推荐文章于 2024-02-05 09:01:05 发布
最新推荐文章于 2024-02-05 09:01:05 发布
阅读量7.2k 收藏 16
点赞数 1
分类专栏： Bug汇总 Hive Java 文章标签： hive java maven bug
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Jason_yesly/article/details/110840130
版权
Java 同时被 3 个专栏收录
16 篇文章 2 订阅
订阅专栏
Bug汇总
13 篇文章 0 订阅
订阅专栏
Hive
10 篇文章 0 订阅
订阅专栏

一、环境描述

1.1、项目环境

使用 SpringBoot2.2.1 + MySQL5.7.6 + Shiro + MyBatis + Hive + Hadoop，多模块化，多连接池多数据源管理。

1.2、部署环境

Linux环境下，Hive和Hadoop主机采用的是CDH版本，采用容器化部署方式。

  • Hadoop 2.6.0-cdh5.14.0
  • Apache Hive (version 1.1.0-cdh5.14.0)

二、遇到的问题及解决办法

就是连这么个服务器的Hive库，花费了很多时间，也踩了非常多的坑，为了避免更多人踩坑，特此记录一下，希望对各位有帮助。

1、启动报错-Finished invalidation session. No sessions were stopped.

2、启动报错-java.lang.NoSuchMethodError: com.google.common.collect.Multimaps.asMap

3、启动报错-NoClassDefFoundError: jetty存在session不一致问题

4、启动异常-java.net.UnknownHostException

5、hive连接报错-java.lang.NoClassDefFoundError: org/apache/commons/configuration/Configuration

6、hive连接报错-java.lang.NoClassDefFoundError: Could not initialize class org.apache.hadoop.security.UserGroupInformation

7、hive连接报错-java.lang.NoClassDefFoundError: org/apache/thrift/TException

8、hive连接报错-java.lang.NoClassDefFoundError: org/apache/hadoop/hive/thrift/TFilterTransport

9、hive连接报错-java.lang.NoClassDefFoundError: org/apache/log4j/Level

10、日志依赖冲突警告

11、项目打war包没排除内置Tomcat警告

三、项目依赖

本地项目采用与服务器同样版本的Hive和Hadoop，减少报错数量。

由于使用的CDH版maven，需要在本地或者项目中配置CDH独有的仓库。

如何配置？

在项目对应模块的pom文件中配置仓库：

<repositories>
    <repository>
        <id>cloudera</id>
        <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
    </repository>
    <repository>
        <id>repo2</id>
        <url>https://repo.spring.io/plugins-release/</url>
    </repository>
    <repository>
        <id>mvnrepository</id>
        <url>http://mvnrepository.com/</url>
    </repository>
</repositories>

主要是cloudera仓库，可以到远程仓库：https://repository.cloudera.com/artifactory/cloudera-repos/ 中去早找到对应版本的hive和Hadoop组件，将依赖加到pom文件中，可能下载有点慢，可以配置阿里云镜像。

最终的POM文件的依赖：

<repositories>
        <repository>
            <id>cloudera</id>
            <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
        </repository>
        <repository>
            <id>repo2</id>
            <url>https://repo.spring.io/plugins-release/</url>
        </repository>
        <repository>
            <id>mvnrepository</id>
            <url>http://mvnrepository.com/</url>
        </repository>

    </repositories>
    <properties>
        <hadoop.version>2.6.0-cdh5.14.0</hadoop.version>
        <hive.version>1.1.0-cdh5.14.0</hive.version>
    </properties>
    <dependencies>
        <!--连接hive认证要用到的工具包-start-->
        <!-- https://mvnrepository.com/artifact/org.apache.hive/hive-jdbc -->
        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-jdbc</artifactId>
            <version>${hive.version}</version>
            <exclusions>
                <exclusion>
                    <groupId>org.eclipse.jetty.aggregate</groupId>
                    <artifactId>jetty-all</artifactId>
                </exclusion>
                <exclusion>
                    <artifactId>log4j</artifactId>
                    <groupId>log4j</groupId>
                </exclusion>
                <exclusion>
                    <groupId>org.slf4j</groupId>
                    <artifactId>org.slf4j</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.slf4j</groupId>
                    <artifactId>slf4j-log4j12</artifactId>
                </exclusion>
                <exclusion>
                    <artifactId>jersey-server</artifactId>
                    <groupId>com.sun.jersey</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>zookeeper</artifactId>
                    <groupId>org.apache.zookeeper</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>guava</artifactId>
                    <groupId>com.google.guava</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>curator-client</artifactId>
                    <groupId>org.apache.curator</groupId>
                </exclusion>
            </exclusions>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.hive/hive-exec -->
        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-exec</artifactId>
            <version>${hive.version}</version>
            <exclusions>
                <exclusion>
                    <artifactId>log4j</artifactId>
                    <groupId>log4j</groupId>
                </exclusion>
                <exclusion>
                    <groupId>org.slf4j</groupId>
                    <artifactId>org.slf4j</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.slf4j</groupId>
                    <artifactId>slf4j-log4j12</artifactId>
                </exclusion>
                <exclusion>
                    <artifactId>commons-collections</artifactId>
                    <groupId>commons-collections</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>commons-lang</artifactId>
                    <groupId>commons-lang</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>commons-logging</artifactId>
                    <groupId>commons-logging</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>jline</artifactId>
                    <groupId>jline</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>antlr-runtime</artifactId>
                    <groupId>org.antlr</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>zookeeper</artifactId>
                    <groupId>org.apache.zookeeper</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>guava</artifactId>
                    <groupId>com.google.guava</groupId>
                </exclusion>
            </exclusions>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.hive/hive-metastore -->
        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-metastore</artifactId>
            <version>${hive.version}</version>
            <exclusions>
                <exclusion>
                    <artifactId>guava</artifactId>
                    <groupId>com.google.guava</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>log4j</artifactId>
                    <groupId>log4j</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>slf4j-log4j12</artifactId>
                    <groupId>org.slf4j</groupId>
                </exclusion>
            </exclusions>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.hive/hive-common -->
        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-common</artifactId>
            <version>${hive.version}</version>
            <exclusions>
                <exclusion>
                    <groupId>org.eclipse.jetty.aggregate</groupId>
                    <artifactId>jetty-all</artifactId>
                </exclusion>
                <exclusion>
                    <artifactId>slf4j-log4j12</artifactId>
                    <groupId>org.slf4j</groupId>
                </exclusion>
            </exclusions>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.hive/hive-service -->
        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-service</artifactId>
            <version>${hive.version}</version>
            <exclusions>
                <exclusion>
                    <groupId>tomcat</groupId>
                    <artifactId>jasper-compiler</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>tomcat</groupId>
                    <artifactId>jasper-runtime</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.eclipse.jetty.aggregate</groupId>
                    <artifactId>jetty-all</artifactId>
                </exclusion>
                <exclusion>
                    <artifactId>servlet-api</artifactId>
                    <groupId>javax.servlet</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>commons-logging</artifactId>
                    <groupId>commons-logging</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>zookeeper</artifactId>
                    <groupId>org.apache.zookeeper</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>guava</artifactId>
                    <groupId>com.google.guava</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>slf4j-log4j12</artifactId>
                    <groupId>org.slf4j</groupId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>${hadoop.version}</version>
            <exclusions>
                <exclusion>
                    <artifactId>log4j</artifactId>
                    <groupId>log4j</groupId>
                </exclusion>
                <exclusion>
                    <groupId>org.slf4j</groupId>
                    <artifactId>org.slf4j</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.slf4j</groupId>
                    <artifactId>slf4j-log4j12</artifactId>
                </exclusion>
                <exclusion>
                    <artifactId>jackson-core-asl</artifactId>
                    <groupId>org.codehaus.jackson</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>jackson-mapper-asl</artifactId>
                    <groupId>org.codehaus.jackson</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>guava</artifactId>
                    <groupId>com.google.guava</groupId>
                </exclusion>
            </exclusions>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common -->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>${hadoop.version}</version>
            <exclusions>
                <exclusion>
                    <groupId>org.eclipse.jetty.aggregate</groupId>
                    <artifactId>jetty-all</artifactId>
                </exclusion>
                <exclusion>
                    <artifactId>commons-httpclient</artifactId>
                    <groupId>commons-httpclient</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>commons-logging</artifactId>
                    <groupId>commons-logging</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>log4j</artifactId>
                    <groupId>log4j</groupId>
                </exclusion>
                <exclusion>
                    <groupId>org.slf4j</groupId>
                    <artifactId>org.slf4j</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.slf4j</groupId>
                    <artifactId>slf4j-log4j12</artifactId>
                </exclusion>
                <exclusion>
                    <artifactId>curator-recipes</artifactId>
                    <groupId>org.apache.curator</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>zookeeper</artifactId>
                    <groupId>org.apache.zookeeper</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>jackson-core-asl</artifactId>
                    <groupId>org.codehaus.jackson</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>jackson-jaxrs</artifactId>
                    <groupId>org.codehaus.jackson</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>jackson-mapper-asl</artifactId>
                    <groupId>org.codehaus.jackson</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>jackson-xc</artifactId>
                    <groupId>org.codehaus.jackson</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>guava</artifactId>
                    <groupId>com.google.guava</groupId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-auth</artifactId>
            <version>${hadoop.version}</version>
            <exclusions>
                <exclusion>
                    <artifactId>log4j</artifactId>
                    <groupId>log4j</groupId>
                </exclusion>
                <exclusion>
                    <groupId>org.slf4j</groupId>
                    <artifactId>org.slf4j</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.slf4j</groupId>
                    <artifactId>slf4j-log4j12</artifactId>
                </exclusion>
                <exclusion>
                    <artifactId>curator-framework</artifactId>
                    <groupId>org.apache.curator</groupId>
                </exclusion>
            </exclusions>
        </dependency>

        <!--<dependency>
            <groupId>org.pentaho</groupId>
            <artifactId>pentaho-aggdesigner-algorithm</artifactId>
            <version>5.1.5-jhyde</version>
            <exclusions>
                <exclusion>
                    <artifactId>commons-lang</artifactId>
                    <groupId>commons-lang</groupId>
                </exclusion>
            </exclusions>
        </dependency>-->
        <dependency>
            <groupId>eigenbase</groupId>
            <artifactId>eigenbase-properties</artifactId>
            <version>1.1.4</version>
        </dependency>
        <!--<dependency>
            <groupId>org.apache.thrift</groupId>
            <artifactId>libthrift</artifactId>
            <version>0.9.3</version>
        </dependency>-->
        <dependency>
            <groupId>commons-configuration</groupId>
            <artifactId>commons-configuration</artifactId>
            <version>1.6</version>
            <exclusions>
                <exclusion>
                    <artifactId>commons-lang</artifactId>
                    <groupId>commons-lang</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>commons-logging</artifactId>
                    <groupId>commons-logging</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>commons-collections</artifactId>
                    <groupId>commons-collections</groupId>
                </exclusion>
            </exclusions>
        </dependency>
        <!--连接hive认证要用到的工具包-end-->
    </dependencies>
鸿永与
关注
  • 1
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
centos7 pyhive连接hive（基于kerberos安全验证）
07-23
centos7 pyhive连接hive（基于kerberos）。由于基于kerberos校验的hive服务器通过python连接的过程很麻烦，故整理文档。
Invalid argument to native writeImage Finished invalidation session. No sessions were stopped.
墨落青衫
06-30 8674
异常信息 Closing non transactional SqlSession [org.apache.ibatis.session.defaults.DefaultSqlSession@6bef3b3] 18:35:48.398 [schedule-pool-2] INFO c.r.f.s.w.s.OnlineWebSessionManager - [validateSessions,159] - Finished invalidation session. No sessions were sto
hive 查询数据库 Could not initialize class org.apache.hadoop.hive.common,type.HiveDate
最新发布
qq_33930506的博客
02-05 434
使用客户端连接工具执行sql,start_date,end_date这两个字段类型是date。将date使用to_char转换后，错误消失。
python3.6.5基于kerberos认证的hive和hdfs连接调用方式
09-16
主要介绍了python3.6.5基于kerberos认证的hive和hdfs连接调用方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
hive2-jdbc:Hive JDBC连接示例，包括简单和kerberos身份验证方法
04-28
Hive JDBC连接示例 该项目展示了如何使用各种不同的方法连接到Hiveserver2。 所有类仅适用于Hiveserver2。 正在使用Cloudera JDBC驱动程序，可以从下载。 在撰写本文时，最新版本为v2.5.15 。 要求： 您需要下载驱动程序并将其复制到lib文件夹。 从下载zip，以获取正确的操作系统和体系结构。 解压缩并转到Cloudera_HiveJDBC41_xxx文件夹。 将所有罐子从那里复制到lib文件夹。 JDBC API v3.x支持JRE v4.0或v5.0 JDBC API v4.x支持JRE v6.0或更高版本 JDBC API v4.1.x支持JRE v7.0或更高版本 适用于Apache Hive的Cloudera JDBC驱动程序支持Hive 0.11、0.12、0.13、0.14、1.0和1.1。 有关更多信息，请参阅下载的z
centos7 pyhive连接hive（基于kerberos）.docx
10-25
hive 连接kerberos
启动报错-Finished invalidation session. No sessions were stopped.
一立方星空
12-07 1万+
启动报错-Finished invalidation session. No sessions were stopped. 报错描述： 项目部署到服务器后，开始启动了，但最终没有启动成功。项目使用了Shiro验证，在启动项目后，会自动去找缓存信息，根据Session登陆验证。 这里报错说没有Sessions，但这个信息前面就是初始化Sessions的日志，通过查看网上文章，以及自己测试后的解决方式如下： ①可能与Shiro Session有关，但具有代码又没有错的地方，这里需要自己先检查代码 ②与jdk版本
shiro安全框架扩展教程--异常退出没有清除缓存信息处理方案
热门推荐
shadowsick的专栏
12-11 3万+
自从之前研究了security3一段时间,发现也不咋滴,后来转行去玩玩shiro,感觉还是挺不错的,小巧灵活;然后遇到个大家都应该遇到过的问题就是当用户退出或者异常关闭浏览器的时候不会自动清除缓存授权信息,当然shiro是有个玩意会自动扫描过期的会话,但是它只会清除会话信息不会清除cache里面的信息,看了网上的答案都是不靠谱的,最好还是自己看源码吧,下面看我的解决方案 <bean id="
Shiro quartz2.* 冲突解决
ystyaoshengting的专栏
09-12 970
原文链接 项目里需要对过期的 shiro session 进行清理，shiro 自带了 shiro-quartz 模块可以胜任这项工作 接入 shiro-quartz 具体配置如下： &lt;!-- pom.xml --&gt; &lt;dependency&gt; &lt;groupId&gt;org.apache.shiro&lt;/groupId&gt; &lt;a...
SpringBoot整合Shiro-session管理(六)
Doge的技术小屋
11-09 603
原文：https://blog.csdn.net/qq_34021712/article/details/80418112 Shiro提供了完整的企业级会话管理功能，不依赖于底层容器（如Tomcat），不管是J2SE还是J2EE环境都可以使用，提供了会话管理，会话事件监听，会话存储/持久化，容器无关的集群，失效/过期支持，对Web的透明支持，SSO单点登录的支持等特性。即直接使用 Shiro 的会话管理可以直接替换如 Web 容器的会话管理。 shiro中的session特性 基于POJO/J2SE：sh
hive kerberos 异常
arbalest1080的博客
08-26 178
到集群中运行 表是展示出来的。
kerberos认证hive连接代码
12-05
kerberos认证hive连接代码，springmvc配置加上java触发认证kerberos认证
hive的一些报错及解决方法
12-18
hive的一些报错及解决方法：连接报错、执行脚本卡住、内存溢出报错、表死锁问题
shiro安全框架异常退出没有清除缓存信息处理方案
zyujie的专栏
09-11 6139
最近项目遇到问题，shiro框异常退出没有清除缓存信息，服务器重启后，又拿旧的缓存session来登录，造成后台报错。 这里转载网友的文章，记录一下解决方法。大体就是重写sessionManager类，做一个清除操作。 配置默认会话管理器： 全局的会话信息设置成15秒,检测扫描信息间隔30秒,第三个参数就是是否开启扫描 重写管理器类的一个方法 packa
Shiro框架学习笔记（一）
weweeeeeeee的博客
05-15 1150
#Shiro框架学习笔记（一）################################################################################一、sessionValidationScheduler的使session失效执行流程（SessionManeger）##############################################...
shiro源码shiro的session的查询、刷新、过期与删除，你值得拥有
weixin_33700350的博客
10-19 1265
SecurityManager是shiro的核心，负责与shiro的其他组件进行交互；SessionManager是session的真正管理者，负责shiro的session管理； SessionsSecurityManager的start方法中将session的创建委托给了具体的sessionManager，是创建session的关键入口。 SimpleSession是shiro完完全全的自己实...
Java 访问连接Hive的Kerberos认证前提
多头注意力探索Now
05-30 727
kerberos 认证
大数据问题排查系列-大数据集群开启 kerberos 认证后 HIVE 作业执行失败
明哥的IT随笔
09-05 865
大数据问题排查系列-大数据集群开启 kerberos 认证后 HIVE 作业执行失败 1 前言 大家好，我是明哥！ 本文是大数据问题排查系列 的 kerberos问题排查子序列博文之一，讲述大数据集群开启 kerberos 安全认证后，hive作业执行失败的根本原因，解决方法与背后的原理和机制。 以下是正文。 2 问题现象 大数据集群开启 kerberos 安全认证后，HIVE ON SPARK 作业执行失败。通过客户端 beeline 提交作业，报错 spark client 创建失败，其报错信息是： F
hive客户端与hive Meta store进行kerberos认证连接原理流程
05-17
Hive客户端与Hive Metastore进行Kerberos认证连接的原理流程如下： 1. 客户端向Kerberos KDC请求获取TGT（Ticket Granting Ticket）。 2. 客户端使用TGT向KDC请求获取Hive服务的Service Ticket。 3. 客户端使用Service Ticket向Hive Metastore发送连接请求。 4. Hive Metastore接收到连接请求后，会使用自己的Keytab文件解密Service Ticket，验证客户端的身份，如果验证成功，则允许客户端连接。 5. 客户端与Hive Metastore建立连接后，可以执行Hive查询语句等操作。 总体来说，客户端需要获取TGT和Service Ticket，并使用Service Ticket与Hive Metastore进行连接。Hive Metastore会使用自己的Keytab文件进行身份验证，并允许合法的客户端连接。这样就保证了Hive客户端和Hive Metastore之间的连接是安全可靠的。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值