Failed to execute runnable (java.lang.OutOfMemoryError: GC overhead limit exceeded)：kettle数据抽取内存溢出

最新推荐文章于 2024-05-14 01:11:44 发布
最新推荐文章于 2024-05-14 01:11:44 发布
阅读量2.7k 收藏 4
点赞数
分类专栏： kettle JVM调优
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42870683/article/details/104513979
版权

数据抽取的时候因为抽取的数据太多，而kettle的最大内存只有2G，所以导致了内存溢出

Failed to execute runnable (java.lang.OutOfMemoryError: GC overhead limit exceeded)

而我的spoon.dat文件的最大运行内存只有2G（windows端Spoon.bat，linux端Spoon.sh）

-Xms初始的Heap的大小。

-Xmx最大Heap的大小。

在这里插入图片描述
解决：Xmx值可以设置为机器内存的1/4（最好不要超过3/8），比如16G内存，可以设置到4G

YCRUCAN
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
kettle调用webservice服务Java:java.lang.OutOfMemoryError: GC overhead limit exceeded
海边的豆豆的博客
11-13 4783
说明： 背景说明：需要定时同步别的业务系统基于webservice发布的数据（主表、附表） 问题缘由：service提供方，主表支持批量查询，一次可以查询100条，但是附表只能根据主表的主键一条一条的查询。因此我如果要获取所有的附表内容就要循环访问服务（约1万多次）因此会出现Java:java.lang.OutOfMemoryError: GC overhead limit exceeded ...
spark程序运行异常：java.lang.OutOfMemoryError: GC overhead limit exceeded
sigurwang的博客
07-15 9586
此次异常是在集群上运行的spark程序日志中发现的。由于这个异常导致sparkcontext被终止，以致于任务失败： 出现的一些原因 参考：GC overhead limit exceeded java.lang.OutOfMemoryError有几种分类的，这次碰到的是java.lang.OutOfMemoryError: GC overhead limit exceeded，下面就来说说这种类型的内存溢出。 简单来说，java.lang.OutOfMemoryError: GC overhead li
kettle报错 GC overhead limit exceeded（内存溢出问题）
gym02的博客
12-09 5540
kettle内存溢出的相关设置 GC overhead limit exceeded Spoon.bat（windows端）和Spoon.sh（linux端）里设置的内存太小，可以设置为机器内存的1/4，比如16G内存，可以设置到4G。 初始配置 -Xms初始的Heap的大小。 -Xmx最大Heap的大小。 在很多情况下，-Xms和-Xmx设置成一样的。这么设置，是因为当Heap不够用时，会发生内存抖动，影响程序运行稳定性。 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img
正确解决Java.lang.OutOfMemoryError: GC overhead limit exceeded错误的有效解决方法
最新发布
wbajsjhhhhh的博客
05-14 3304
正确解决Java.lang.OutOfMemoryError: GC overhead limit exceeded错误的有效解决方法
kettle报错 OutOfMemoryError: GC overhead limit exceeded 解决方法
程序员大佬超的博客
06-20 4154
在使用 kettle 时卡死无响应，所以更换 SpoonConsole.bat 启动分析日志（SpoonConsole.bat 、SpoonDebug.bat 这两个spoon运行会打印日志）。
Windows端kettle报错 GC overhead limit exceeded（内存溢出问题）
weixin_72495537的博客
11-14 1144
Windows端kettle报错 GC overhead limit exceeded（内存溢出报错）
java.lang.OutOfMemoryError: GC overhead limit exceeded问题分析及解决
热门推荐
王华春_Jason
01-01 5万+
我们学习再多的理论知识，不如一次生产实践中遇到一次问题带来的收获多。当然这里分享的如有错误还望指出，只有这样才能不断的进步。Java OOM 基础篇：常见的OutOfMemoryError 场景二 : GC overhead limit exceeded 问题详解 | HeapDump性能社区。
Failed to execute runnable (org.eclipse.swt.SWTException: Widget is disposed)原因以及解决办法
shuang word
03-03 1万+
在RFT工具里，使用API获取对象的方式实现自动化测试经常会出现如下异常： 以下错误是本人学习中碰到的，以后碰到继续完善： SWT变成中，一般场景是先打开了一个Shell，然后在Shell里面执行一系列动作后关闭了Shell,再打开该Shell执行其他操作时，如果的代码仍然使用第一次操作的Shell对象就会出现这样的问题。 Failed to execute runnable (org.ec
flume抽取数据时：java.lang.OutOfMemoryError: GC overhead limit exceeded
qq_44982182的博客
08-13 451
flume抽取数据时：java.lang.OutOfMemoryError: GC overhead limit exceeded错误 错误日志如下： Exception in thread "PollableSourceRunner-SQLSource-r1" java.lang.OutOfMemoryError: GC overhead limit exceeded at org.keedio.flume.source.SQLSource$ChannelWriter.write(SQLS
spring-petclinic-master运行mvn install报错：Failed to execute goal io.spring.javaformat:spring-javaformat
01-06
spring-petclinic-master运行mvn install报错：Failed to execute goal io.spring.javaformat:spring-javaformat-maven-plugin:0.0.19:validate (default) on project spring-petclinic: Formatting violations ...
Failed to execute goal org...的解决办法
08-30
主要介绍了Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.1的解决办法的相关资料,需要的朋友可以参考下
Failed to execute goal org.apache.maven.plugins:maven-compiler
03-03
在<plugins></plugins>中添加 <groupId>org.apache.maven.plugins <artifactId>maven-compiler-plugin <version>3.8.1 <source>1.8 <target>1.8 </plugin>
Maven报错: Failed to execute goal org.apache.maven.plugins:maven-resources-plugin:3.0.2:resources
01-08
idea创建Maven项目时，报错显示Failed to execute goal org.apache.maven.plugins:maven-resources-plugin:3.0.2:resources，并且Maven插件内看不到 mybatis-generator。如下图： 折腾了好久发现配置放错地方了，...
Jenkins编译报错Failed to execute goal org.apache.maven.plugins_maven-clean-plugin
05-19
Failed to execute goal org.apache.maven.plugins:maven-clean-plugin:2.5:clean (default-clean) on project
kettle从入门到精通 第二十三课 kettle carte 错误（java.lang.OutOfMemoryError: GC overhead limit exceeded，Could not
zhangjin1222的博客
01-28 465
原因有两点：1）消费者处理数据能力较弱，如表输出步骤。2）消费者没有处理数据，如传递的数据中有字段type=1的数据，这种情况没有处理。设置kettle 启动参数，在spoon.sh或者Spoon.bat中进行设置，自己根据实际情况设置大小。解决方案：提高行集大小KETTLE_TRANS_ROWSET_SIZE=100000 或多线程处理（同上）针对 2）调整处理程序，处理所有情况数据，或者设置默认处理程序。原因：行集设置过大或者kettle 内存设置较小。原因：行集设置过小或者消费者消费能力弱。
kettle 报错 java.lang.OutOfMemoryError: GC overhead limit exceeded
铬任的博客
03-13 625
kettle报错java.lang.OutOfMemoryError: GC overhead limit exceeded
java.lang.OutOfMemoryError: GC overhead limit exceeded原因及解决方法
初心不忘、始终方得
11-24 1万+
java.lang.OutOfMemoryError: GC overhead limit exceeded原因及解决方法 问题复现：11-23日生产推送数据时，发生该错误，没有其他操作. 解释STW：jvm在执行垃圾回收线程时，其他线程都会被迫停止，只有垃圾收集线程执行完毕，其他线程才会恢复，这期间会有很少的等待时间，这个过程就是stw。 错误含义：该错误表示cpu在98%（默认值）的时间内都在处理jvm的垃圾收集，且堆中回收到的内存仍是低于2%,这是系统就会报GC overhead limit exce
Kettle5.4.0 java.lang.OutOfMemoryError
策马走天涯
02-15 1013
在使用Kettle工具抽取Excel经常会遇到如下错误： org.eclipse.swt.SWTException: Failed to execute runnable (java.lang.OutOfMemoryError: Java heap space) Caused by: java.lang.OutOfMemoryError: Java heap space 解决办法： 修改ke...
kettle 运行时内存溢出问题调优经验总结
qq_36211262的博客
08-10 6869
大概意思就是说，JVM花费了98%的时间进行垃圾回收，而只得到2%可用的内存，频繁的进行内存回收(最起码已经进行了5次连续的垃圾回收)，JVM就会曝出java.lang.OutOfMemoryError: GC overhead limit exceeded错误。objectTimeout=1440 默认一天，即将执行完成的Job对象保留一天时间，可以在kettle.properties中自定义该属性的值，这边改的是5分钟，即任务执行完成后5分钟就会被扫描成过期的对象，让它尽量在年轻代就被回收掉。.....
org.eclipse.swt.SWTException: Failed to execute runnable (java.lang.OutOfMemoryError: Java heap space)
10-12
这个异常通常是因为 Java 程序运行时申请的内存不足导致的。要解决这个问题，可以尝试以下几种方法： 1. 增加 Java 程序的内存限制，可以通过在运行程序时添加 JVM 参数 -Xmx 来增加内存限制，例如：java -Xmx2g MyProgram。 2. 检查程序代码，看是否存在内存泄漏等问题。 3. 减少程序对内存的占用，例如使用缓存等技术。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值