启动Hive和Hadoop的兼容性问题：java.lang.VerifyError: class org.apache.log4j.bridge.LogEventAdapter overrides

最新推荐文章于 2025-12-18 14:54:12 发布
原创 最新推荐文章于 2025-12-18 14:54:12 发布 · 347 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #hive #java

问题描述

我的Hadoop版本是3.4.2，Hive版本是4.0.1。现在是2025年10月26日，都是最新的版本。

启动Hive后，提交SQL语句，在尝试启动Mapred任务时会报错：
java.lang.VerifyError: class org.apache.log4j.bridge.LogEventAdapter overrides final method getProperty.(Ljava/lang/String;)Ljava/lang/String;

2025-10-26 16:24:37,703 ERROR [main] org.apache.hadoop.mapreduce.v2.app.MRAppMaster: Error starting MRAppMaster java.lang.VerifyError: class org.apache.log4j.bridge.LogEventAdapter overrides final method getProperty.(Ljava/lang/String;)Ljava/lang/String; at java.lang.ClassLoader.defineClass1(Native Method) at java.lang.ClassLoader.defineClass(ClassLoader.java:756) at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142) at java.net.URLClassLoader.defineClass(URLClassLoader.java:473) at java.net.URLClassLoader.access$100(URLClassLoader.java:74) at java.net.URLClassLoader$1.run(URLClassLoader.java:369) at java.net.URLClassLoader$1.run(URLClassLoader.java:363) at java.security.AccessController.doPrivileged(Native Method) at java.net.URLClassLoader.findClass(URLClassLoader.java:362) at java.lang.ClassLoader.loadClass(ClassLoader.java:418) at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:352) at java.lang.ClassLoader.loadClass(ClassLoader.java:351) at org.apache.log4j.builders.BuilderManager.<clinit>(BuilderManager.java:58)

java.lang.VerifyError: class org.apache.log4j.bridge.LogEventAdapter overrides final method getTimeStamp.()J
        at java.lang.ClassLoader.defineClass1(Native Method)
        at java.lang.ClassLoader.defineClass(ClassLoader.java:756)
        at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
        at java.net.URLClassLoader.defineClass(URLClassLoader.java:473)
        at java.net.URLClassLoader.access$100(URLClassLoader.java:74)
        at java.net.URLClassLoader$1.run(URLClassLoader.java:369)
        at java.net.URLClassLoader$1.run(URLClassLoader.java:363)
        at java.security.AccessController.doPrivileged(Native Method)
        at java.net.URLClassLoader.findClass(URLClassLoader.java:362)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:418)
        at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:352)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:351)
        at org.apache.log4j.builders.BuilderManager.<clinit>(BuilderManager.java:58)
        at org.apache.log4j.config.Log4j1Configuration.<init>(Log4j1Configuration.java:46)
        at org.apache.log4j.config.PropertiesConfiguration.<init>(PropertiesConfiguration.java:90)
        at org.apache.log4j.config.PropertiesConfigurationFactory.getConfiguration(PropertiesConfigurationFactory.java:58)
        at org.apache.logging.log4j.core.config.ConfigurationFactory$Factory.getConfiguration(ConfigurationFactory.java:499)
        at org.apache.logging.log4j.core.config.ConfigurationFactory$Factory.getConfiguration(ConfigurationFactory.java:404)
        at org.apache.logging.log4j.core.config.ConfigurationFactory.getConfiguration(ConfigurationFactory.java:318)

解决方案

实际上是log4j jar包冲突。我的解决方法是在 Hadoop 环境中禁用 log4j-1.2-api 桥接包

在每台节点执行：

cd /usr/local/hive/lib/ # hive安装路径
sudo mv log4j-1.2-api-*.jar ~/backup_log4j_conflict/ # 临时存一下
sudo mv log4j-slf4j-impl-*.jar ~/backup_log4j_conflict/

（Hive 启动依旧正常，因为它会 fallback 到 log4j-core）

然后重启yarn和hive server2

再次运行SQL测试成功

在这里插入图片描述

新手指导hadoop、hbase、hive版本对应关系查找表
02-10
很多刚入门的同学找不到版本对应关系，这里从官网整理下来，供大家参考 hadoop、hbase、hive版本对应关系.新手指导hadoop、hbase、hive版本对应关系查找表
hadoop,hbase,hive版本整合兼容性最全，最详细说明【适用于任何版本】
07-16
hadoop,hbase,hive版本整合兼容性最全，最详细说明【适用于任何版本】,避免下载后才发现不兼容的坑
hadoop 对应hive版本
weixin_42347346的博客
08-04 1393
如何实现 Hadoop 对应 Hive 版本的查询 在大数据领域，Hadoop 和 Hive 是两个非常重要的组成部分。Hadoop 是一个分布式存储和处理框架，而 Hive 则是建立在 Hadoop 之上的数据仓库工具，它为数据分析提供了一种类 SQL 的查询语言。然而，对于刚入行的小白来说，可能会对 Hadoop 和 ...
安装高可用3.4.2版apache hadoop集群
weixin_43581113的博客
10-20 719
配置./etc/hadoop下的core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml、workers。集群遇到故障需要重新格式化的时候 停止集群、删除 ./logs ./data下的内容 再格式化。0、准备好jdk、免密登录、zk等前提环境。mapred-site.xml内容如下。core-site.xml内容如下。hdfs-site.xml内容如下。yarn-site.xml内容如下。2、下载并安装hadoop。worksers内容如下。
寻找hadoop、hive、spark对应版本
m0_67392273的博客
03-30 4414
1、spark对应的环境 http://spark.apache.org/documentation.html 2、找spark和hive版本 http://spark.apache.org/docs/3.0.0/building-spark.html#specifying-the-hadoop-version-and-enabling-yarn 3、找hadoop版本 进入hive官网https://hive.apache.org/downloads.html，可以看到hive对应的hadoop版
hive安装（hive3.1.2与hadoop3.2.1版本冲突解决办法）
weixin_45484707的博客
08-24 5372
首先：正常启动HDFS、YARN和ZooKeeper 1.安装mysql（安装教程在以前的博客中） 2 查看mysql是否运行 3、启动mysql服务，登录mysql systemctl start mysqld mysql -uroot -p 4、可以配置mysql的开机自启服务 （1）下面这两个设置以后 密码很简单不会报错 mysql> set global validate_password_policy=0; mysql> set global validate_password_
Java调用hdfs出现java.lang.VerifyError: class org.apache.hadoop.hdfs.protocol.proto异常
judy1017的专栏
10-29 4278
1. 问题背景： Java程序访问Hadoop的分布式文件系统（hdfs），如下面语句： private List readCsvFile(String path) throws IOException { CosmosLogin.loginFromPasswd(ROLE_NAME + "@XXX.COM", ROLE_PASSWORD); HdfsConfiguration hdf
Hive 初始化日志格式异常解决方案
linzeyu的博客
09-11 463
Hive 初始化日志格式异常解决方案 今天配置完Hive后打算将元数据迁移到MySQL中，结果在配置完成后启动 Hive时报错 异常原因： 日志文件格式不匹配 解决方案： 编辑MySQL配置，在 mysqld 部分后追加 binlog_format=mixed 开启日志的混合模式 vim /usr/my.cnf [mysqld] binlog_format=mixed 具体异常： Logging initialized using configuration in jar:file:/home/
Hadoop 集成 hive 碰到的版本问题
11-14 503
最近在随大流搞下 hadoop， 太多坑了。前辈们估计跟我差不太多。 把今天的一个版本冲突的问题写到博客里，如果碰到一样的问题。不用走弯路吧。 hadoop 2.2.0 与 hive 0.12  集成时碰到这种异常   org.springframework.beans.factory.BeanCreationException: Error creating bean with nam...
记录一个耗时4天的beeline执行报错的问题
weixin_42180058的博客
06-10 387
最近在执行 select distinct(column) from table 时总是报错，找了很多方式都没用就像上面最后一行显示一样。问了ai，ai也不太管用，找了很多办法。最后还是查看日志解决的。以下是解决方法，之前的无效尝试就不说了。
shark 安装 遇到的问题
baiyangfu的专栏
04-15 5941
shark官网：http://shark.cs.berkeley.edu/
hadoop-2.2.0+hive-0.11.0下整合RHive问题记录
liangtingac的专栏
03-04 3833
rhive.env()问题： Default RServe List 127.0.0.1warning: cant't connect to a Rserver at 127.0.0.1:6311 Disconnected HiveServer and HDFS
hive 2.1.1 安装记录
let it go的博客
09-15 1664
1.安装环境： CentOS Linux release 7.1.1503 (Core)  2.需要包： mysql 驱动: https://dev.mysql.com/downloads/file/?id=472651                             mysql-connector-java-5.1.44.zip  hive包:https://mirrors.tu
Ambari 2.7.5+HDP3.1.5离线扩容不同配置组
QYmufeng的博客
05-05 1251
确保ambari server节点启动，Httpd 服务安装并启动，可参考：Ambari 2.7.5+HDP3.1.5离线安装详细教程（附安装包）
Spark读取elasticsearch5.0中程序报错
热门推荐
anlu的博客
10-31 1万+
本人使用spark读取elasticsearch5.0中内容时报错，其中pom.xml中配置如下 org.apache.camel camel-core 2.17.3 org.apache.camel camel-scala 2.17.3 org.s
Hadoop 之 ENV
最新发布
zhixingheyi_tian的博客
12-18 95
在以下场景 HADOOP_CLIENT_OPTS 的效果 和 HADOOP_OPTS 是一样的。
实习面试题-Hadoop 面试题
CXY00000的博客
12-11 222
Hadoop的核心组件包括HDFS、YARN、MapReduce和Hadoop Common，分别负责分布式存储、资源管理、并行计算和基础工具支持。Hadoop采用分布式架构以应对海量数据处理需求，相比集中式系统具有高扩展性、容错性和成本效益优势。HDFS默认数据块大小为128MB，可通过配置文件调整。NameNode和DataNode通过RPC机制通信，DataNode定期发送心跳和块报告，NameNode据此维护元数据并下发操作指令。
Ubuntu 单机安装 Hadoop 3.2.4教程
蜗牛哲学的博客
12-11 237
系统：Ubuntu 20.04 / 22.04 / 24.04（服务器或桌面均可）所有操作直接用 root 执行（最简单粗暴）
Caused by: java.lang.ClassNotFoundException: org.apache.logging.log4j.spi.AbstractLoggerAdapter
06-20
### 解决 Hive Metastore 启动时因 `java.lang.ClassNotFoundException: org.apache.logging.log4j.spi.AbstractLoggerAdapter` 导致的问题 Hive Metastore 启动时遇到 `java.lang.ClassNotFoundException: org.apache.logging.log4j.spi.AbstractLoggerAdapter` 的问题，通常与日志框架的依赖冲突或缺失有关。以下是详细分析和解决方案。 #### 1. 检查 Log4j 和 SLF4J 依赖 Hive 使用 Log4j 作为其日志记录框架，而 SLF4J 是一个抽象层，允许应用程序在不同日志实现之间切换。如果 Maven 项目中存在多个版本的日志框架依赖，可能会导致类加载冲突。需要检查项目的 `pom.xml` 文件，确保以下依赖正确配置： ```xml <dependency> <groupId>org.apache.logging.log4j</groupId> <artifactId>log4j-core</artifactId> <version>2.x</version> <!-- 确保版本兼容 --> </dependency> <dependency> <groupId>org.apache.logging.log4j</groupId> <artifactId>log4j-slf4j-impl</artifactId> <version>2.x</version> <!-- 确保版本兼容 --> </dependency> <dependency> <groupId>org.slf4j</groupId> <artifactId>slf4j-api</artifactId> <version>1.7.x</version> <!-- 确保版本兼容 --> </dependency> ``` 如果 `log4j-slf4j-impl` 被标记为 `provided`，可能无法正确加载类[^2]。建议删除 `provided` 标记，确保依赖在运行时可用。 #### 2. 检查依赖冲突 通过执行以下命令，检查是否存在依赖冲突： ```bash mvn dependency:tree ``` 如果发现多个版本的 `log4j` 或 `slf4j` 存在，可能导致类加载失败。例如，以下情况表明存在冲突： ``` [INFO] +- org.apache.logging.log4j:log4j-core:jar:2.17.1:compile [INFO] +- org.apache.logging.log4j:log4j-slf4j-impl:jar:2.14.1:compile ``` 解决方法是排除冲突的依赖版本。例如，在 `pom.xml` 中排除旧版本： ```xml <dependency> <groupId>org.apache.logging.log4j</groupId> <artifactId>log4j-core</artifactId> <version>2.17.1</version> </dependency> <dependency> <groupId>org.apache.logging.log4j</groupId> <artifactId>log4j-slf4j-impl</artifactId> <version>2.17.1</version> <exclusions> <exclusion> <groupId>org.slf4j</groupId> <artifactId>slf4j-api</artifactId> </exclusion> </exclusions> </dependency> ``` #### 3. 验证 Classpath 配置 确保 Hive 的 Classpath 中包含正确的日志库文件。可以通过以下命令验证： ```bash echo $CLASSPATH ``` 如果未包含 Log4j 或 SLF4J 的 JAR 文件，可以手动添加路径。例如： ```bash export CLASSPATH=$CLASSPATH:/path/to/log4j-core-2.x.jar:/path/to/log4j-slf4j-impl-2.x.jar ``` #### 4. 检查 Hive 配置文件 Hive 的日志配置文件 `log4j.properties` 或 `log4j2.xml` 可能也需要调整。确保文件中指定的日志实现与实际加载的库一致。例如： ```properties log4j.rootLogger=INFO, console log4j.appender.console=org.apache.log4j.ConsoleAppender log4j.appender.console.layout=org.apache.log4j.PatternLayout log4j.appender.console.layout.ConversionPattern=%d{ISO8601} %-5p %c - %m%n ``` 如果使用 Log4j2，则需配置 `log4j2.xml` 文件： ```xml <?xml version="1.0" encoding="UTF-8"?> <Configuration status="WARN"> <Appenders> <Console name="Console" target="SYSTEM_OUT"> <PatternLayout pattern="%d{ISO8601} [%t] %-5level %logger{36} - %msg%n"/> </Console> </Appenders> <Loggers> <Root level="info"> <AppenderRef ref="Console"/> </Root> </Loggers> </Configuration> ``` #### 5. 清理并重新构建项目 完成上述调整后，清理并重新构建项目以确保更改生效： ```bash mvn clean install ``` #### 6. 验证 Hive Metastore 启动 重新启动 Hive Metastore 服务，验证问题是否解决： ```bash nohup hive --service metastore & ``` 如果问题仍然存在，可以通过查看日志文件进一步排查。日志文件通常位于 `/tmp/<username>/hive.log` 或 Hive 安装目录下的 `logs` 文件夹中。 --- ###
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值