HDFS 查询目录报错 OutOfMemoryError: GC overhead limit exceeded

最新推荐文章于 2023-02-02 17:04:47 发布
最新推荐文章于 2023-02-02 17:04:47 发布
阅读量807 收藏 2
点赞数
分类专栏： hadoop运维调优 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sunxunyong/article/details/118971406
版权

1、现象
HDFS查询yarn日志目录，报错:Exception in thread “main” java.lang.OutOfMemoryError: GC overhead limit exceeded在这里插入图片描述
2、解决问题
检测发现这个目录下有大量文件，hdfs dfs -ls命令以递归方式搜索目标文件夹中的所有文件，这导致GC OOM错误。
将hdfs客户端的heap大小调大,执行成功:
HADOOP_CLIENT_OPTS="-Xmx10240m" hdfs dfs -ls /app-logs/ocdp/logs | wc -l
在这里插入图片描述

sunxunyong
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
解决hive报hdfs exceeded directory item limit错误
05-08
hive报hdfs exceeded directory item limit错误，是由于每次任务失败或者异常退出会造成存在HDFS上的临时目录不自动删除，HDFS目录文件数达到上限，可以脚本清理旧的无用目录解决
Hadoop Namenode启动报错GC overhead limit exceeded
卧龙居
09-28 3036
Hadoop Namenode启动报错： 看起来是fsimage中的节点数目过多，导致的GC Overhead超过限制。Fsimage是namenode维护的重要文件之一，它包含了整个HDFS文件系统的所有目录信息和文件信息。对于文件来说包含了数据块描述信息、修改时间、访问时间等；对于目录来说，包含了修改时间、访问权限控制信息等。 需要用以下命令查看fsimage文件占用的内存大小： ....
OutOfMemoryError: GC overhead limit exceeded问题的原因和解决方案
第一行代码
07-27 5450
背景： 在发布新功能到生产环境，系统突然不稳定了，过一会就会出现GC overhead limit exceeded这个问题，内存溢出，然后系统无法访问，最终通过排查，解决了内存溢出问题，特此记录 一、为什么会产生GC overhead limit exceeded问题 经过网上查询和总结，一般来说，有以下几点：    1. 程序中大量的死循环或有使用大内存的代码；    2. 程序中的递归栈...
OutOfMemoryError: GC Overhead Limit Exceeded报错解决
m0_45899013的博客
11-08 1222
报错原因：内存溢出 错误解决 1.settings – Build,Execution,Deployment – Compiler – Build process heap size (Mbytes): 调大改成 1000，再不行改成1500 Apply – ok 2.再次启动项目，成功 Garbage Collection讲解 简单地说，Garbage Collection (GC)就是JVM回收不再使用的对象，释放内存的过程。GC Overhead Limit Exceeded error是java.l
查看hdfs的操作日志
十二少胭脂扣
07-06 2677
查看hdfs操作日志
hdfs命令报内存溢出错误
L13763338360的博客
02-27 1229
现象 $ hdfs dfs -ls -R /user/spark/spark2ApplicationHistory > temp. Exception in thread "main" java.lang.OutOfMemoryError: GC overhead limit exceeded at java.lang.invoke.MethodType$Concurre...
Hadoop报错 Exception in thread "main" java.lang.OutOfMemoryError: GC overhead limit exceeded
戴着红领巾走世界
04-03 3040
今天在查看Hadoop平台上HDFS数据文件文件半天没反应，最后报错：Exception in thread “main” java.lang.OutOfMemoryError: GC overhead limit exceeded，超出GC开销限制。报这种错误常见的原因有以下几种： 1.内存中加载的数据量过于庞大，如一次从数据库取出过多数据； 2.集合类中有对对象的引用，使用完后未清空，使得JV...
hadoop.fs.FileSystem.get导致OOM的原因和解决方案
Miaodawang的博客
02-02 491
在调用HDFS获取文件系统的get接口时，指定用户可能会导致OOM问题，溯源及解决方法
hadoop命令OutOfMemoryError GC
Alex.W.的机器学习之路
05-12 1632
使用hadoop命令对hdfs文件系统进行操作时（例如getmerge、put等）可能会遇到OutOfMemoryError这样的异常，如下图： 解决方法：增大hadoop client的最大内存占用限制。 命令： export HADOOP_CLIENT_OPTS=”-Xmx10g”，具体是10g还是其他数值可以根据自己机器的具体情况调整。
HDFS命令操作报java.lang.OutOfMemoryError:java heap space
z19920904的博客
07-24 910
执行hadoop fs -ls / 时出现 java.lang.OutOfMemoryError:java heap space 原因 ： 目录下小文件过多，猜测可能是因为文件数据多大使得元数据过大导致加载到client客户端时会引起内存不足 解决方案： 修改/etc/hadoop/conf/hadoop-env.sh 加大HADOOP_CLIENT_OPTS的配置 ...
hdfs常见错误汇总
邢宁
02-09 1507
1、报错信息 rm: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot delete /hbase. Name node is in safe mode 解决办法 #hdfs异常重启导致hdfs进入安全模式，退出即可 hadoop dfsadmin -safemode leave
HDFS两种操作方式：命令行和Java API
01-07
HDFS 文件操作有两种方式：一种是命令行方式，Hadoop 提供了一套与 Linux 文件命令类似的命令行工具；另一种是 Java API，即利用 Hadoop 的 Java 库，采用编程的方式操作 HDFS 的文件。 本节将介绍 Linux 操作系统中...
hdfs-inotify-example:HDFS inotify示例
05-22
$ sudo -u hdfs java -jar hdfs-inotify-example-uber.jar hdfs://brooklyn.onefoursix.com:8020 ...输出可能会很冗长，因为您将获得所有tx 因此，您可能想从一个大的TxId开始，然后在没有任何事件的情况下向后...
ＨＤＦＳ　的读写数据流程：
06-06
ＨＤＦＳ　的读写数据流程：
hadoop-hdfs-fsimage-exporter：将Hadoop HDFS内容统计信息导出到Prometheus
02-03
不会给HDFS NameNode增加额外的负担（没有NameNode查询，您可以在第二个NameNode上运行它） 缺点是 没有实时更新，仅在NameNode写入FSImage时每6小时更新一次。 但是对于大多数情况（长期趋势，检测HDF
hive metastore导致集群阻塞
sunxunyong的博客
12-01 2303
hive metastore
hive insert数据后，HDFS目录增加-ext-10000目录处理
sunxunyong的博客
10-29 2020
hive insert数据后，hdfs目录增加了-ext-10000目录 经排查发现执行用户非集群管理用户，使用集群管理用户可以正常。 hdfs 查看目录权限为集群管理用户。怀疑权限问题，不想手动修改hdfs权限，开启ranger 权限管控hive，赋权后正常使用。 ...
ranger用户同步问题--rangerusersync
sunxunyong的博客
07-29 1330
access_log.log报错：POST /service/xusers/users/userinfo HTTP/1.1" 401 catalina.out报错：org.springframework.security.access.AccessDeniedException: Access is denied 修改：ranger用户同步问题 是 rangerusersync 这个用户的角色问题 select * from x_user_module_perm where user_id in (se
flumeERROR hdfs.BucketWriter: Unexpected error java.lang.OutOfMemoryError: GC overhead limit exceeded
最新发布
11-05
flumeERROR hdfs.BucketWriter: Unexpected error java.lang.OutOfMemoryError: GC overhead limit exceeded是由于flume写入HDFS时，内存不足导致的错误。这个错误和HDFS查询yarn日志目录时出现的错误类似，都是由于内存不足导致的。解决方法也类似，可以通过增加flume的heap大小来解决这个问题。可以通过在flume-env.sh文件中设置JAVA_OPTS="-Xmx10240m"来增加heap大小。另外，也可以通过减少flume写入HDFS的速度来减少内存的使用，例如通过调整batch size或者调整写入速率等方式来解决这个问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值