多进程数据库不适合作为hive的元数据库

于 2024-03-17 13:27:18 发布
阅读量574 收藏 9
点赞数 7
文章标签： 数据库 hive hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_73350116/article/details/136780746
版权

简介

“今天发现一个比较奇怪的现象，因为博主不熟悉mysql，所以在安装hive的使用了postgresql作为hive的元数据库，在测试几个连接工具对hive进行链接，后面再测试的时候发现链接不上了，并且报错日志如下：”


SLF4J: Failed toString() invocation on an object of type [org.apache.hadoop.hive.ql.session.OperationLog]
java.lang.OutOfMemoryError: GC overhead limit exceeded
FAILED: command has been interrupted: during query execution: 
null
2024-03-16 15:20:55,302 Log4j2-TF-2-AsyncLogger[AsyncContext@71be98f5]-1 ERROR RandomAccessFileManager (/tmp/hadoop/operation_logs/513aee2e-444c-407e-8e5d-2f8541a9d2f7/hadoop_20240316152052_4af3ebb2-0011-48e8-acc3-46f60e08f82f) java.io.FileNotFoundException: /tmp/hadoop/operation_logs/513aee2e-444c-407e-8e5d-2f8541a9d2f7/hadoop_20240316152052_4af3ebb2-0011-48e8-acc3-46f60e08f82f (No such file or directory) java.io.FileNotFoundException: /tmp/hadoop/operation_logs/513aee2e-444c-407e-8e5d-2f8541a9d2f7/hadoop_20240316152052_4af3ebb2-0011-48e8-acc3-46f60e08f82f (No such file or directory)
	at java.io.RandomAccessFile.open0(Native Method)
	at java.io.RandomAccessFile.open(RandomAccessFile.java:316)
	at java.io.RandomAccessFile.<init>(RandomAccessFile.java:243)
	at java.io.RandomAccessFile.<init>(RandomAccessFile.java:124)
	at org.apache.logging.log4j.core.appender.RandomAccessFileManager$RandomAccessFileManagerFactory.createManager(RandomAccessFileManager.java:208)
	at org.apache.logging.log4j.core.appender.RandomAccessFileManager$RandomAccessFileManagerFactory.createManager(RandomAccessFileManager.java:186)
	at org.apache.logging.log4j.core.appender.AbstractManager.getManager(AbstractManager.java:114)
	at org.apache.logging.log4j.core.appender.OutputStreamManager.getManager(OutputStreamManager.java:100)
	at org.apache.logging.log4j.core.appender.RandomAccessFileManager.getFileManager(RandomAccessFileManager.java:72)
	at org.apache.hadoop.hive.ql.log.HushableRandomAccessFileAppender.createAppender(HushableRandomAccessFileAppender.java:178)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	at org.apache.logging.log4j.core.config.plugins.util.PluginBuilder.build(PluginBuilder.java:136)
	at org.apache.logging.log4j.core.config.AbstractConfiguration.createPluginObject(AbstractConfiguration.java:1120)
	at org.apache.logging.log4j.core.config.AbstractConfiguration.createConfiguration(AbstractConfiguration.java:1045)
	at org.apache.logging.log4j.core.appender.routing.RoutingAppender.createAppender(RoutingAppender.java:299)
	at org.apache.logging.log4j.core.appender.routing.RoutingAppender.getControl(RoutingAppender.java:271)
	at org.apache.logging.log4j.core.appender.routing.RoutingAppender.append(RoutingAppender.java:229)
	at org.apache.logging.log4j.core.config.AppenderControl.tryCallAppender(AppenderControl.java:161)
	at org.apache.logging.log4j.core.config.AppenderControl.callAppender0(AppenderControl.java:134)
	at org.apache.logging.log4j.core.config.AppenderControl.callAppenderPreventRecursion(AppenderControl.java:125)
	at org.apache.logging.log4j.core.config.AppenderControl.callAppender(AppenderControl.java:89)
	at org.apache.logging.log4j.core.config.LoggerConfig.callAppenders(LoggerConfig.java:542)
	at org.apache.logging.log4j.core.config.LoggerConfig.processLogEvent(LoggerConfig.java:500)
	at org.apache.logging.log4j.core.config.LoggerConfig.log(LoggerConfig.java:483)
	at org.apache.logging.log4j.core.config.LoggerConfig.log(LoggerConfig.java:471)
	at org.apache.logging.log4j.core.config.AwaitCompletionReliabilityStrategy.log(AwaitCompletionReliabilityStrategy.java:98)
	at org.apache.logging.log4j.core.async.AsyncLogger.actualAsyncLog(AsyncLogger.java:488)
	at org.apache.logging.log4j.core.async.RingBufferLogEvent.execute(RingBufferLogEvent.java:156)
	at org.apache.logging.log4j.core.async.RingBufferLogEventHandler.onEvent(RingBufferLogEventHandler.java:51)
	at org.apache.logging.log4j.core.async.RingBufferLogEventHandler.onEvent(RingBufferLogEventHandler.java:29)
	at com.lmax.disruptor.BatchEventProcessor.run(BatchEventProcessor.java:129)
	at java.lang.Thread.run(Thread.java:750)

2024-03-16 15:20:55,433 Log4j2-TF-2-AsyncLogger[AsyncContext@71be98f5]-1 ERROR Unable to invoke factory method in class org.apache.hadoop.hive.ql.log.HushableRandomAccessFileAppender for element HushableMutableRandomAccess: java.lang.IllegalStateException: ManagerFactory [org.apache.logging.log4j.core.appender.RandomAccessFileManager$RandomAccessFileManagerFactory@307957f1] unable to create manager for [/tmp/hadoop/operation_logs/513aee2e-444c-407e-8e5d-2f8541a9d2f7/hadoop_20240316152052_4af3ebb2-0011-48e8-acc3-46f60e08f82f] with data [org.apache.logging.log4j.core.appender.RandomAccessFileManager$FactoryData@57fffa4] java.lang.reflect.InvocationTargetException
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	at org.apache.logging.log4j.core.config.plugins.util.PluginBuilder.build(PluginBuilder.java:136)
	at org.apache.logging.log4j.core.config.AbstractConfiguration.createPluginObject(AbstractConfiguration.java:1120)
	at org.apache.logging.log4j.core.config.AbstractConfiguration.createConfiguration(AbstractConfiguration.java:1045)
	at org.apache.logging.log4j.core.appender.routing.RoutingAppender.createAppender(RoutingAppender.java:299)
	at org.apache.logging.log4j.core.appender.routing.RoutingAppender.getControl(RoutingAppender.java:271)
	at org.apache.logging.log4j.core.appender.routing.RoutingAppender.append(RoutingAppender.java:229)
	at org.apache.logging.log4j.core.config.AppenderControl.tryCallAppender(AppenderControl.java:161)
	at org.apache.logging.log4j.core.config.AppenderControl.callAppender0(AppenderControl.java:134)
	at org.apache.logging.log4j.core.config.AppenderControl.callAppenderPreventRecursion(AppenderControl.java:125)
	at org.apache.logging.log4j.core.config.AppenderControl.callAppender(AppenderControl.java:89)
	at org.apache.logging.log4j.core.config.LoggerConfig.callAppenders(LoggerConfig.java:542)
	at org.apache.logging.log4j.core.config.LoggerConfig.processLogEvent(LoggerConfig.java:500)
	at org.apache.logging.log4j.core.config.LoggerConfig.log(LoggerConfig.java:483)
	at org.apache.logging.log4j.core.config.LoggerConfig.log(LoggerConfig.java:471)
	at org.apache.logging.log4j.core.config.AwaitCompletionReliabilityStrategy.log(AwaitCompletionReliabilityStrategy.java:98)
	at org.apache.logging.log4j.core.async.AsyncLogger.actualAsyncLog(AsyncLogger.java:488)
	at org.apache.logging.log4j.core.async.RingBufferLogEvent.execute(RingBufferLogEvent.java:156)
	at org.apache.logging.log4j.core.async.RingBufferLogEventHandler.onEvent(RingBufferLogEventHandler.java:51)
	at org.apache.logging.log4j.core.async.RingBufferLogEventHandler.onEvent(RingBufferLogEventHandler.java:29)
	at com.lmax.disruptor.BatchEventProcessor.run(BatchEventProcessor.java:129)
	at java.lang.Thread.run(Thread.java:750)
Caused by: java.lang.IllegalStateException: ManagerFactory [org.apache.logging.log4j.core.appender.RandomAccessFileManager$RandomAccessFileManagerFactory@307957f1] unable to create manager for [/tmp/hadoop/operation_logs/513aee2e-444c-407e-8e5d-2f8541a9d2f7/hadoop_20240316152052_4af3ebb2-0011-48e8-acc3-46f60e08f82f] with data [org.apache.logging.log4j.core.appender.RandomAccessFileManager$FactoryData@57fffa4]
	at org.apache.logging.log4j.core.appender.AbstractManager.getManager(AbstractManager.java:116)
	at org.apache.logging.log4j.core.appender.OutputStreamManager.getManager(OutputStreamManager.java:100)
	at org.apache.logging.log4j.core.appender.RandomAccessFileManager.getFileManager(RandomAccessFileManager.java:72)
	at org.apache.hadoop.hive.ql.log.HushableRandomAccessFileAppender.createAppender(HushableRandomAccessFileAppender.java:178)
	... 25 more

2024-03-16 15:20:55,695 Log4j2-TF-2-AsyncLogger[AsyncContext@71be98f5]-1 ERROR Unable to create Appender of type HushableMutableRandomAccess
Exception in thread "HiveServer2-Handler-Pool: Thread-470" java.lang.OutOfMemoryError: GC overhead limit exceeded
WARN: The method class org.apache.commons.logging.impl.SLF4JLogFactory#release() was invoked.
WARN: Please see http://www.slf4j.org/codes.html#release for an explanation.

大概意思就是我JVM的资源不足了，内存溢出了
这个就很奇怪， 我就测试了几个数据库链接工具，还没上强度，也没上job，怎么就内存溢出了呢？
我查看了一下进程（看看是什么事务占用了资源），吓我一跳

b85f83302e592d454b4c800241e0cfa.png
17cf21775c7d5753f846b85c0f4ba51.png
22c507735e2319fdb4f61bca41772df.png每一次在测试的时候，都会产生一个链接会话，且一直没有被回收，且即便是我关闭了会话，这个会话进程依然存在，长此以往会话占用的资源就爆满了。再有新的链接想要链接进来，就会被refused。
这里和postgresql的底层设计有点关联，postgresql是一个多进程多线程类型的一个数据库，对于hive在安装的时候，其实内置的是derby数据库。这里建议采用其默认数据库，其兼容性会更好。目前行业主流仍然使用mysql作为其元数据库管理最多

necessary653
关注
  • 7
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
解决Failed toString() invocation on an object com.alibaba.fastjson.JSONException: write javaBean error
念兮为美
08-19 2495
解决 Failed toString() invocation on an object of type [com.superjson.superjsonmanager.config.jwt.JwtProperties$$EnhancerBySpringCGLIB$$3c58badf]和com.alibaba.fastjson.JSONException: write javaBean error, fastjson version 1.2.70问题
SLF4J: Failed toString() invocation on an object of type [com.zhao.guang.xiao.top.po.BlogBean$Hibern
NULL
10-14 5967
错误信息 SLF4J: Failed toString() invocation on an object of type [com.zhao.guang.xiao.top.po.BlogBean$HibernateProxy$GOvMqmkl] Reported exception: java.lang.StackOverflowError at com.zhao.guang.xiao.t...
SLF4J: Failed toString() invocation on an object of type [java.util.HashMap] 的解决
lz_Zhenzhen的博客
02-03 3512
SLF4J: Failed toString() invocation on an object of type [java.util.HashMap] 的解决 问题背景： 对体类Bean进行 BeanUtils.describe(purchaseCatalogBo)；转换成Map,但是日志打印报错，并且从map里获取参数报错，报错明细如下： SLF4J: Failed toString(...
Hive 初始化 Exception in thread “main“ java.lang.NoSuchMethodError: com.google.common.XXX
qq_56335560的博客
05-15 478
slf4j的包名有所不同，一个是slf4j-reload4j-1.7.35.jar!，另一个是log4j-slf4j-impl-2.17.1.jar!，操作同上，不用改名。slf4j位置：hive/lib/log4j-slf4j-impl-2.17.1.jar!guava都是同名jar包，只是版本不同，删除老版本，复制最新版本到删了包的地方。对比包的版本大小，删除低版本，把高版本的包复制到原位置。guava位置 ： hbase/lib。jar冲突，低版本无法兼容高版本内容。
hive 问题解决 Class path contains multiple SLF4J bindings
总钻风
10-23 1774
hive输入命令时出现日志冲突提示（问题不复杂，是个warn，强迫症解决，做项目经常遇到，项目里是处理maven。这里处理方法思路类似。这里选简单的删除日志冲突包，删除hive目录下的包。一种是屏蔽日志冲突包，一种删除多余包。日志冲突提示已消失。
TutorialsPoint 数据库教程 20160127 __
04-16
这些教程涵盖了数据库的多个方面，从基础到高级，包括安装配置、数据操作、查询优化、备份恢复、安全性等。无论你是初学者还是有经验的开发者，都能从中找到有价值的信息，提升你的数据库技能。通过深入学习这些教程...
收纳操作系统、JAVA、算法、数据库、中间件、解决方案、架构、DevOps和大数据等技术栈总结
06-11
在本总结中，我们将深入探讨操作系统的核心概念，如进程管理、内存管理、文件系统和设备驱动等。理解操作系统的运作机制对于优化系统性能和解决系统问题至关重要。 JAVA作为跨平台的编程语言，其强大的特性使其在...
apache-hive-2.1.0-bin.tar.zip
05-04
2. **Hive Metastore**：存储元数据的地方，如表的定义、分区信息等，通常与数据库（如MySQL）集成。 3. **Hive CLI (Command Line Interface)**：命令行接口，用户可以通过它提交查询并查看结果。 4. **Hive JDBC/...
云数据库方案设计.docx
01-08
每个租户的数据库不可以彼此访问。 各个租户的数据库可以方便的迁移和加载，支持各自的备份和恢复。 一体化管理 使用 KEM 监控数据库运行状态 a). 支持自主监控（由KEM主动呈现） b). 支持将收集的数据汇集到其他...
云数据库方案设计.doc
01-08
每个租户的数据库不可以彼此访问。 各个租户的数据库可以方便的迁移和加载，支持各自的备份和恢复。 一体化管理 使用 KEM 监控数据库运行状态 a). 支持自主监控（由KEM主动呈现） b). 支持将收集的数据汇集到其他...
hive启动过程中slf4j日志冲突导致控制台看到很多日志
weixin_43979134的博客
01-24 2983
背景描述 更改了hive的启动配置，发现hive启动的控制台页面，出现很多日志信息，而改动之前这些日志都是不可见的。初步怀疑是slf4j的实现类加载异常。 分析hive的加载的slf4j实现类 异常的slf4j 加载的class是Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory] SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [
Hadoop Hive配置
breyan的博客
05-16 508
细节！细节！细节！细节决定成败！速度源于熟练！ 参考博客：https://blog.csdn.net/qq_39315740/article/details/98626518 https://blog.csdn.net/SXY16044314/article/details/94599142 https://blog.csdn.net/u012922838/article/details/73291524 准备：Hive的安装基于Hadoop，因此需要先搭建好Hadoop环境，其次以MySQL作为Hive的
Hive 遇到 Class path contains multiple SLF4J bindings
weixin_34336526的博客
11-09 1549
Hive 遇到 Class path contains multiple SLF4J bindings Root Issue; slf4j在两处找到了jar包。分别是在Hadoop和hive的安装目录。 删除一个就好。 转载于:https://www.cnblogs.com/Jesse-Li/p/7809485.html...
（转）findbugs错误分析
热门推荐
song198710的专栏
07-13 1万+
 最近使用findbugs分析了最近做过的一个project，发现自己写的代码出现好多问题，在这里做一个小小的总结。下面是针对我的代码中出现的bug结合网络做了一下分析学习，借助Google翻译，感觉翻译的仍然很别扭。 May expose internal representation by incorporating reference to mutable   object.
Class path contains multiple SLF4J bindings.使用java连接kafka是报错
u011089760的博客
06-10 1284
使用java写客户端连接kafka是报错如下： SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/C:/Users/Admin/.m2/repository/org/slf4j/slf4j-log4j12/1.7.21/slf4j-log4j12-1.7.21.jar!/...
Spark 日志错误信息分析及解决方案：log4j、SLF4j
T_Janey
07-03 4121
Spark 日志错误信息异常信息：(解决了好久的问题)1、log4j错误类「org.apache.log4j.Appender」被加载，「org.apache.log4j.ConsoleAppender」不能分配给「org.apache.log4j.Appender」，导致sparkContext初始化失败log4j:ERROR A "org.apache.log4j.ConsoleAppende...
java笔记--day11--类object之toString()
齐天大圣徐的博客
09-17 360
1 Object类的所有方法： public int hashCode() public final Class getClass() public String toString() public boolean equals(Object obj) protected void finalize() protected Object clone() 本章节讲述toStr
java.lang.NoSuchMethodError: org.apache.kafka.clients.consumer.KafkaConsumer.assign(Ljava/util/List;
Abandon_Sun的博客
09-10 1万+
 Flink入门程序异常，记录一下跟大家分享。 SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder". SLF4J: Defaulting to no-operation (NOP) logger implementation SLF4J: See http://www.slf4j.org/codes.html#Stat...
虚拟机hive打不开
最新发布
10-29
根据提供的引用内容，虚拟机hive打不开可能是由于元数据服务无法启动导致的。可以尝试以下解决办法： 在主机C:\Windows\System32\drivers\etc\host文件中添加新的IP地址和虚拟机名字，然后执行以下步骤： 1. 删除...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值