kettle篇:kettle分页导入批量数据时遇到的错误

在使用Kettle从Mysql分页导入数据到Es时遇到内存溢出错误,通过调整spoon.bat和kitchen.sh的JVM内存参数(-Xms, -Xmx, -XX:MaxPermSize, -Xss)无法根本解决问题。解决方法是将kitchen.sh中的参数调大,并在spoon.bat中添加-Xss1024m,重启spoon.bat后,问题得到解决。" 51202406,1426818,NSDate时间差8小时解决方案,"['iOS开发', 'NSDate', '时区调整']
摘要由CSDN通过智能技术生成

最近使用kettle从Mysql数据导入Es中,因为使用分页导入,kettle持续运行导致:KETTLE java.lang.OutOfMemoryError: Java heap space

基本上是让修改kettle安装目录中下的spoon.bat程序,用记事本等程序打开,找到

if "%PENTAHO_DI_JAVA_OPTIONS%"=="" set PENTAHO_DI_JAVA_OPTIONS="-Xmx512m" "-XX:MaxPermSize=256m"


部分,将其调整(一般调整为256的倍数)为:

if "%PENTAHO_DI_JAVA_OPTIONS%"=="" set PENTAHO_DI_JAVA_OPTIONS="-Xmx1024m" "-XX:MaxPermSize=2048m"


然后保存。

-Xms:设置JVM初始内存;
-Xmx:设置JVM最大可用内存;
-XX:MaxPermSize:设置JVM最大允许分配内存,按需分配。

-Xmx必须小于等于系统内存的1/4,最大不要超过3/8,其他两个选项不大于-Xmx。

但是修改完之后,还是报错,持续增加内存并不能根本上解决问题,可以尝试以下方法:

修改kettle安装目录中下的kitchen.sh程序,用记事本等程序打开,找到

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值