记一次大坑：hadoop2.6和hive3.1.3不兼容

最新推荐文章于 2023-07-11 18:09:33 发布

cstg4w

最新推荐文章于 2023-07-11 18:09:33 发布

阅读量665

点赞数

本文链接：https://blog.csdn.net/cstg4w/article/details/119218105

版权

搞了一下午，不是hadoop报错就是hive报错，在一会nn直接挂了，后面推测可能是版本兼容的问题，换成hive2.1.1解决问题，忘了截图，打开hive执行show databases；报错

java.lang.IllegalAccessError: tried to access method com.google.common.base.Stopwatch.<init>()V from class org.apache.hadoop.mapred.FileInputFormat

ps：版本兼容

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

cstg4w

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

Hadoop3.1.3 ,hive-3.1.2,flink1.12.0由guava的jar包版本不一致导致的兼容性问题

科学的N次方

03-04

2776

问题：在flink1.12.0集成hive3.1.2的过程中，启动./sql-client.sh embedded 报错： Caused by: java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument (ZLjava/lang/String;Ljava/lang/Object;)V. 可以看出是由于guava的jar包版本冲突了。集成的过程中，我们只在flink/lib下面添加了如下jar包：经过

CentOS7 环境在Hadoop集群安装hive-3.1.3

最新发布

liaodaoguo的博客

11-15

302

hive安装

参与评论您还未登录，请先登录后发表或查看评论

Hadoop 与 Hive 兼容性问题（一）部署Hadoop与Hive

weixin_45417821的博客

10-12

3210

1）把 apache-hive-3.1.3-bin.tar.gz上传到 linux 的/opt/software 目录下。2）解压 apache-hive-3.1.3-bin.tar.gz 到/opt/module目录下面。5）解决日志 Jar 包冲突，进入/opt/module/hive/lib 目录（有冲突再做）3）修改 apache-hive-3.1.2-bin.tar.gz 的名称为 hive。在$HIVE_HOME/conf 目录下新建 hive-site.xml 文件。会报如下异常：暂且搁置。

hive-exec 3.1.3和orc 的1.6.14版本不兼容

qq_43688472的博客

07-11

113

hive-exec 3.1.3和orc 的1.6.14版本不兼容

hadoop3版本的兼容性简单调研

breakout_alex的博客

07-08

4630

hadoop3版本的兼容性简单调研目录： 1.与其他组件的兼容性版本 2.与hadoop2版本的客户端兼容性一.与其他组件的兼容性版本目前依赖hadoop的常用组件有spark、hive、hbase等.目前只调研hive和hbase这两个重要组件。参考组件的官网发布信息，一般每个版本的发布信息会说明已经支持那个hadoop版本的底层服务，说明已经经过...

hadoop,hbase,hive版本整合兼容性最全，最详细说明【适用于任何版本】

07-16

hadoop,hbase,hive版本整合兼容性最全，最详细说明【适用于任何版本】,避免下载后才发现不兼容的坑

大数据安全-kerberos技术-hive安装包，hive版本：apache-hive-3.1.3-bin.tar.gz

06-06

Hive 3.1.3是该软件的一个稳定版本，包含了众多性能优化和功能增强。 Kerberos协议的核心思想是基于密钥分发中心（Key Distribution Center，KDC）的双向认证。在大数据环境中，Kerberos可以确保只有经过身份验证的...

hadoop,hbase,hive版本整合兼容性最全，最详细说明【适用于任何版本】 -

12-02

不同版本的Hadoop可能会对HDFS的API或MapReduce的执行模型进行优化，因此，HBase和Hive需要与相应的Hadoop版本保持兼容。例如，Hadoop 2.x引入了YARN资源管理系统，这可能需要HBase和Hive的更新版本来适应。对于...

hadoop2.6_windows_x64.zip

10-22

总之，"hadoop2.6_windows_x64.zip"提供了在64位Windows环境中运行Hadoop2.6的便利，与Hive1.2.2兼容，适合本地开发和学习。在使用过程中，理解并配置Hadoop和Hive的相关配置文件、环境变量以及掌握基本的命令行操作...

zookeeper+hadoop+hbase+hive(集成hbase)安装部署教程（超详细）.docx

06-01

apache-hive-3.1.3 2.本文软件均安装在自建的目录/export/server/下：sudo mkdir -p /export/server 创建好目录后要改变该目录的属主和属组：sudo chown -R ljr:ljr /export 修改目录权限：sudo +771 -R /...

java hive集群_hive集群搭建，基于hadoop2.x和3.x两个版本

weixin_42366319的博客

02-24

368

本教程采用了两种方案一种是hive-1.21版本,hadoop版本为hadoop2.6.5还有一种是主要讲基于hadoop3.x hive的搭建先来第一种一、本地方式(内嵌derby)步骤这种存储方式需要在本地运行一个mysql服务器，并作如下配置解压修改安装包内conf文件夹下的hive-default.xml.template，并重命名为hite-site.xmljavax.jdo.optio...

Hadoo-2.8.5集群安装Hive-2.3.6及安装问题处理

zhi_zixing的博客

09-08

984

Hive简介 Hive是基于hadoop的一个数据仓库，可以将sql语句转化为MapReduce任务进行运行，不必要专门开发MapReduce，Hive定义了简单的类SQL，即HQL，可以用来对数据进行ETL(提取转化加载)操作。一 . 安装前准备 Hive是基于hadoop的，所以首先要安装好hadoop集群，至于安装hadoop可以参考https://blog.csdn.net/zhi_zi...

spark2.4.7兼容haddoop 3.1.4 和hive 3.1.2

pietiaonan_bugkiller的博客

05-17

4122

背景公司有一套大数据解决方案平台，包括数据同步平台、大数据管理平台、数据可视平台、数据监控报警平台等。所有平台是基于apache 的 hadoop 2.6.3、hive 1.2.1、spark 2.0.2 、scala 2.11.8（其他组件暂不详述），现在需要搭建一套新的集群，决定新集群组件采用新的版本，hadoop 3.1.4 、hive 3.1.2 、spark 2.4.7、scala 2.12.13。基于以上组件的升级，数据平台项目需要做同步的升级，在升级过程中，遇到一些api改变、版本不兼容

hive与hadoop的版本对应问题

程序媛

02-09

8669

以hive-3.1.2为例，查看hive-3.1.2对应的Hadoop版本号的方式是：下载apache-hive-3.1.2-src.tar.gz 链接：https://mirrors.bfsu.edu.cn/apache/hive/hive-3.1.2/ 解压后，查看apache-hive-3.1.2-src/pom.xml文件部分内容如下(line 150: <hadoop.version>3.1.0</hadoop.version>) 即，hive-3.1.2对应的ha

hive:记一次坑爹的报错！（ tried to access method com.google.common.base.Stopwatch）

qq_41864967的博客

11-14

7255

错误描述： hive> show databases; OK Exception in thread "main" java.lang.IllegalAccessError: tried to access method com.google.common.base.Stopwatch.<init>()V from class org.apache.hadoop.mapred...

hive的一些问题

congtuo7221的博客

10-29

162

hadoop2.6.1 hive1.2.1或者hive3.0 问题一： iveExceptionjava.lang.RuntimeException:Unabletoinstantiateorg.apa...

stopwatch 依赖_HBase/Spark Guava依赖冲突解决方案

weixin_42429120的博客

01-30

621

前言版本guava 版本Spark2.2.012.0.1HBase1.0.0-cdh5.6.020.0由于guava的版本在16.0以后，不向后兼容，所以Spark程序中集成HBase是会报找不到依赖的方法错误，如下：Caused by: org.apache.hadoop.hbase.DoNotRetryIOException: java.lang.IllegalAccessError: tr...

项目开发中 hbase连接和 hive FileSystem类使用报错问题处理

lhoneyun的博客

09-21

383

hbase jar包冲突 Caused by: java.lang.IllegalAccessError: tried to access method com.google.common.base.Stopwatch.<init>()V from class org.apache.hadoop.hbase.zookeeper.MetaTableLocator 因为 com.go...

hive-- 常见错误解决

qq_45044615的博客

10-20

1696

hive-- 常见错误解决欢迎使用Markdown编辑器欢迎使用Markdown编辑器该文主要是记录本人在初次安装hive时遇到的一些问题及解决方法，如有错误，望大家指正。问题一： hive 启动时出现 java.lang.ExceptionInInitializerError 原因：安装的hive版本与hadoop版本不兼容 我当时安装的hadoop版本是3.1.3，然后找的hive版本是2.7.2，后来换成了hive3.1.2就好了具体的hive和hadoop兼容关系可以看： https://h

hadoop3.1.3与hive3.1.3兼容吗

05-17

是的，Hadoop 3.1.3和Hive 3.1.3是兼容的。实际上，Apache Hive 3.1.x已经被认为是适用于Apache Hadoop 3.1.x的“官方”版本。在使用Hive时，确保正确配置Hive以使用Hadoop 3.x，并且在运行Hive之前，确保已经安装了Hadoop 3.x并已正确配置。