kettle报错 OutOfMemoryError: GC overhead limit exceeded 解决方法

最新推荐文章于 2024-03-13 11:31:45 发布
最新推荐文章于 2024-03-13 11:31:45 发布
阅读量3.9k 收藏 11
点赞数 4
分类专栏： Kettle 文章标签： Kettle
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xch_yang/article/details/123281423
版权

在使用 kettle 时卡死无响应，所以更换 SpoonConsole.bat 启动分析日志（SpoonConsole.bat 、SpoonDebug.bat 这两个spoon运行会打印日志）。

在这里插入图片描述

查看日志发现报错如下：

 java.lang.OutOfMemoryError: GC overhead limit exceeded

这种内存溢出错误，改下kettle的参数就好了。

解决方法：

修改 Spoon.bat（linux端是Spoon.sh）文件的PENTAHO_DI_JAVA_OPTIONS参数，将默认JVM内存设置大一点。

在这里插入图片描述

  • -Xms是初始的Heap的大小。
  • -Xmx是最大Heap的大小。

根据自己的物理机内存修改，可以设置为机器内存的1/4。

例如：

PENTAHO_DI_JAVA_OPTIONS="-Xms4096m" "-Xmx4096m"
程序员大佬超
关注
  • 4
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
java.lang.OutOfMemoryError: Java heap space 解决方法
07-23
java.lang.OutOfMemoryError: Java heap space 解决方法
记录java.lang.OutOfMemoryErrorJava heap space的情况.docx
06-17
记录java.lang.OutOfMemoryError:Java heap space的情况 文章内容： 一．问题描述+原因分析+解决方案 二．JVM调优说明 三．Tomcat添加到jvisualvm监控
kettle 报错 java.lang.OutOfMemoryError: GC overhead limit exceeded
铬任的博客
03-13 418
kettle报错java.lang.OutOfMemoryError: GC overhead limit exceeded
Kettle解决方案：使用PDI构建开源ETL解决方案
08-21
Kettle解决方案：使用PDI构建开源ETL解决方案 kettle介绍，使用，内容完善，是哥非常不错的内容
java.lang.OutOfMemoryError: GC overhead limit exceeded原因及解决方法
初心不忘、始终方得
11-24 1万+
java.lang.OutOfMemoryError: GC overhead limit exceeded原因及解决方法 问题复现：11-23日生产推送数据时，发生该错误，没有其他操作. 解释STW：jvm在执行垃圾回收线程时，其他线程都会被迫停止，只有垃圾收集线程执行完毕，其他线程才会恢复，这期间会有很少的等待时间，这个过程就是stw。 错误含义：该错误表示cpu在98%（默认值）的时间内都在处理jvm的垃圾收集，且堆中回收到的内存仍是低于2%,这是系统就会报GC overhead limit exce
KETTLE在执行中出现 java.lang.OutOfMemoryError: Java heap space 内存溢出错误
LOVE_Me__的博客
10-20 2771
最近在通过KETTLE调试生成报表数据的时候，当抽取大数据量表数据时，发现执行报错，查看KETTLE执行过程的日志记录，主要错误信息如下： java.lang.OutOfMemoryError: Java heap space kettle一、错误信息 java.lang.OutOfMemoryError: Java heap space kettle二、处理方法 1、在KETTLE安装目录中找到spoon.bat程序，用记事本等程序打开，找到 if "%PENTAHO_DI_JAVA_OPTIONS%"=
kettle报错 GC overhead limit exceeded（内存溢出问题）
gym02的博客
12-09 5290
kettle内存溢出的相关设置 GC overhead limit exceeded Spoon.bat（windows端）和Spoon.sh（linux端）里设置的内存太小，可以设置为机器内存的1/4，比如16G内存，可以设置到4G。 初始配置 -Xms初始的Heap的大小。 -Xmx最大Heap的大小。 在很多情况下，-Xms和-Xmx设置成一样的。这么设置，是因为当Heap不够用时，会发生内存抖动，影响程序运行稳定性。 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img
Windows端kettle报错 GC overhead limit exceeded（内存溢出问题）
weixin_72495537的博客
11-14 1072
Windows端kettle报错 GC overhead limit exceeded（内存溢出报错）
java.lang.OutOfMemoryError: GC overhead limit exceeded问题分析及解决
热门推荐
王华春_Jason
01-01 5万+
我们学习再多的理论知识，不如一次生产实践中遇到一次问题带来的收获多。当然这里分享的如有错误还望指出，只有这样才能不断的进步。Java OOM 基础篇：常见的OutOfMemoryError 场景二 : GC overhead limit exceeded 问题详解 | HeapDump性能社区。
Failed to execute runnable (java.lang.OutOfMemoryError: GC overhead limit exceeded)：kettle数据抽取内存溢出
YCRUCan的博客
02-26 2678
数据抽取的时候因为抽取的数据太多，而kettle的最大内存只有2G，所以导致了内存溢出 Failed to execute runnable (java.lang.OutOfMemoryError: GC overhead limit exceeded) 而我的spoon.dat文件的最大运行内存只有2G（windows端Spoon.bat，linux端Spoon.sh） -Xms初始的Heap...
【线上故障记录】java.lang.OutOfMemoryError: GC overhead limit exceeded和Java heap space
何哥的博客
01-03 5645
Caused by: java.lang.OutOfMemoryError: GC overhead limit exceeded 超出GC开销限制原因：详细消息“超出 GC 开销限制”表示垃圾收集器一直在运行，Java 程序进展非常缓慢。在垃圾收集之后，如果Java进程花费大约 98% 以上的时间进行垃圾收集，并且如果它正在恢复堆的不到 2%，并且到目前为止一直在进行最后5次（编译时常量）连续垃圾收集，则Java进程将停止。将抛出 lang.OutOfMemoryError。
kettle连接Oracle报错
12-14
kettle连接Oracle报错kettle连接Oracle报错报错信息 kettle连接Oracle报错 报错信息 错误连接数据库 [aaa] : org.pentaho.di.core.exception.KettleDatabaseException: Error occurred while trying to connect to ...
sql server定时作业调用Kettle job出错的快速解决方法
12-16
错误信息： Unable to list jar files in plugin folder ‘C:Windowssystem32configsystemprofile.kettleplugins’ Unable to get VFS File object for filename ‘C:Windowssystem32configsystemprofile....
java.lang.OutOfMemoryError:GC overhead limit exceeded
weixin_30770783的博客
04-09 1942
一旦被占用的内存空间不符合释放的条件，GC没办法清理，那就会适时出现java.lang.OutOfMemoryError。这个错误就是提醒我们这群程序猿，写GC程序的程序猿不知道这种情况怎么处理，为了安全也不便处理，谁使用Java就自己看着解决吧。 说起来，java.lang.OutOfMemoryError有几种分类的，这次碰到的是java.lang.OutOfMemoryError: GC ...
java.lang.OutOfMemoryError: GC overhead limit exceeded解决办法
for ever的log——永远的足迹
07-07 4万+
java.lang.OutOfMemoryError: GC overhead limit exceeded解决办法<br /> <br />@for&ever 2010-07-07<br /><br />一、异常如下：<br />Exception in thread "main" java.lang.OutOfMemoryError: GC overhead limit exceeded<br /> <br />二、解释：<br />JDK6新增错误类型。当GC为释放很小空间占用大量时间时抛出。<br
java.lang.OutOfMemoryError：GC overhead limit excee
weixin_34176694的博客
12-24 1075
2019独角兽企业重金招聘Python工程师标准>>> ...
Kettle内存OutOfMemory错误解决办法
gangma2
12-15 2367
Kettle内存OutOfMemory错误解决办法 1、内存限制参数 控制Kettle使用服务器内存参数有3个，分别为：-Xms、-Xmx、-XX:MaxPermSize，三个参数含义如下： -Xms：设置JVM初始内存 -Xmx：设置JVM最大可用内存 -XX:MaxPermSize：设置JVM最大允许分配内存，按需分配 理论上参数值越大，kettle处理数据的效率越高 说明：-Xmx必须小于等于系统内存的1/4，其他两个选项不大于-Xmx。 2、OutOfMemory解决方法 进入安装目录，我的是D:\
kettle 运行时内存溢出问题调优经验总结
qq_36211262的博客
08-10 6337
大概意思就是说，JVM花费了98%的时间进行垃圾回收，而只得到2%可用的内存，频繁的进行内存回收(最起码已经进行了5次连续的垃圾回收)，JVM就会曝出java.lang.OutOfMemoryError: GC overhead limit exceeded错误。objectTimeout=1440 默认一天，即将执行完成的Job对象保留一天时间，可以在kettle.properties中自定义该属性的值，这边改的是5分钟，即任务执行完成后5分钟就会被扫描成过期的对象，让它尽量在年轻代就被回收掉。.....
kettle中合并记录报java.lang.OutOfMemoryError: GC overhead limit exceeded
最新发布
03-28
在Kettle中，当你尝试合并大量记录时，可能会遇到java.lang.OutOfMemoryError: GC overhead limit exceeded错误。这个错误表示Java虚拟机（JVM）花费了太多时间来执行垃圾回收，但仍然无法释放足够的内存。 这个问题通常是由于以下原因之一引起的： 1. 内存不足：Kettle默认使用的内存可能不足以处理大量记录的合并操作。你可以尝试增加Kettle的内存限制，通过编辑spoon.sh（Linux/Mac）或spoon.bat（Windows）文件，在启动参数中增加-Xmx参数来增加内存限制。例如，将-Xmx1024m更改为-Xmx2048m以增加内存限制为2GB。 2. 数据量过大：如果要合并的记录数量过大，超出了系统的处理能力，那么即使增加了内存限制，仍然可能会出现OutOfMemoryError。在这种情况下，你可以考虑分批处理数据，或者使用其他方法来处理大数据量。 3. 不合理的转换或处理操作：在Kettle中，可能存在一些转换或处理操作导致了内存占用过高。你可以检查你的转换逻辑，尝试优化或简化转换步骤，减少内存占用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程序员大佬超

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值