kettle 运行时内存溢出问题调优经验总结

已于 2022-08-10 18:02:30 修改
阅读量7.5k 收藏 21
点赞数 10
分类专栏： kettlepack CDC领域 kettle 文章标签： etl
于 2022-08-10 01:45:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36211262/article/details/126256536
版权

1. 技术选型：kettle + kettlepack

kettle：数据同步工具，提供丰富的组件，通过托拉拽的方式，设计一套数据抽取流程

kettlepack：负责支持远程carte服务，调度kettle的任务（转换/作业）

2. kettle 数据同步案例

① 设计start_job_i_tap_bond_info 作业，作业中添加sync_i_tap_bond_info 转换封装了具体的业务实现

 ② batch_insert 是第一次全量同步业务表数据，使用的是表输出组件，batch_update 在完成第一次同步之后增量更新，使用的是插入/更新组件

3. 运行环境

        ① kettle机器配置：单台2核2G

        ② 调度kettle任务：选用的是kettle-pack，通过调用远程的carte服务，底层其实就是发送Http请求执行kettle的作业

        kettle-pack类似于开源的xxl-job，可以配置定时策

最低0.47元/天 解锁文章
海是鹏印出的影
关注
专栏目录
Kettle中执行循环操作时内存溢出的解决方案（贵方法和巧方法）
m0_69586799的博客
06-07 2911
Kettle中执行循环操作时内存溢出的解决方案（贵方法和巧方法）
大数据知识汇总
weixin_44328257的博客
07-17 7596
本文主要介绍大数据相关的技术和项目目录1.1文章介绍介绍1.2项目介绍1.3 项目指标1.3.1离线指标1.3.2实时指标1.3.3最难的两个指标1.4项目遇到问题1.4.1 Sqoop1.4.2Flume1.4.3Kafka1.4.4Hadoop1.5 项目相关流程问题1. 如何保证你写的 sql 正确性？2. 测试数据哪来的？3. 测试环境什么样？4. 测试之后如何上线？5. 你做的项目工作流程是什么？6. 项目实际工作流程？7.公司项目版本迭代多久一次多久一次 ，迭代到哪个版本？8.项目开发中每天做什
kettle数据溢出了怎么办_kettle内存溢出
weixin_39836898的博客
12-23 528
ETL工具kettle，在老版设计后，使用新版时，居然发生了内存溢出的错误：出现： java heap或者 OutOfMemory等字样这是kettle分配的内存不足。在kettle的运行路径中，用文本编辑器打开Spoon.bat，找到:REM ******************************************************************REM ** Set ...
KETTLE作业运行中自动崩溃死掉的解决办法
最新发布
qq_34796062的博客
08-21 637
用KETTLE作为接口工具在生产实践中很常见，不知道大家有没有遇过KETTLE作业运行中自动崩溃死掉的情况。下面简单分享下我对出现这种情况的原因分析以及解决办法。
kettle内存溢出
weixin_33881050的博客
09-01 571
ETL工具kettle，在老版设计后，使用新版时，居然发生了内存溢出的错误： 出现： java heap  或者 OutOfMemory等字样  这是kettle分配的内存不足。 在kettle的运行路径中，用文本编辑器打开Spoon.bat，找到:   REM ****************************************************************** R...
KETTLE内存溢出解决方案
Dreamy_zsy的博客
09-23 2万+
kettle内存溢出数据跑到一半或者一大半时报错。 在kettle的运行路径中，用文本编辑器打开Spoon.bat，找到: REM ****************************************************************** REM ** Set java runtime options ** REM ** Change 256m to higher values in case you run
kettle工具内存溢出
滴答滴答
10-20 1848
在使用kettle软件时 ，出现内存溢出现象，OutOfMemory：GC overhead limit exceeded 在kettle路径下，找到Spoon.bat并用编辑器打开，找到将其中-Xmx5120m变大，最好是256的整数倍，这是我修改后的； 也可以改变MaxPermSize最大值，运行时最大，也可以。 ...
kettle内存溢出（Java heap space）以及解决方法.docx
02-24
kettle内存溢出（Java heap space）以及解决方法
吐血整理出来的大数据知识点，你掌握多少？
啊晨
08-28 2515
文章目录写在前面正片语言工具类Java实现线程的两种方式集合List集合ArrayListLinkedListSet集合HashSet二叉查找树TreeSetLinkedHashsetMap集合TreeMapHashTableJVM方法区：（被加载的信息，常量，静态变量编译后的代码等数据）虚拟机栈:（java方法服务，储存局部变量方法出口等）本地方法栈堆（对象实例创建，垃圾回收操作）程序计数器Java自带哪几种线程池？（4）HashMap和HashTable区别TreeSet和HashSet区别String
大数据技术之高频面试题
XIAOMO__的博客
11-12 9120
第一章 项目涉及技术 1.1Linux&Shell 1.1.1 Linux常用高级命令 序号 命令 命令解释 1 top 查看内存 2 df -h 查看磁盘存储情况 3 iotop 查看磁盘IO读写(yum install iotop安装） .
关于大数据相关的问答汇总，每天持续更新中~
qq_43084314的博客
08-28 1258
重点内容 一 .简述如何安装配置apache 的一个开源的hadoop 使用root账户登陆 2.修改ip 3.修改host主机名 4.配置ssh 免密登陆 5.关闭防火墙 6.安装ＪＤＫ 7.解压hadoop安装包 8.配置hadoop的核心配置文件 hadoop-env.sh? core-site.xml? mapred-site.xml yarn-site.xml hd...
Kettle内存溢出的相关设置
攻城狮Kevin
01-03 6720
kettle的内存溢出，如下图，一般是三个原因： 第一，某个job（例如图中的job_smart_etl_launcher_daily_start这个job，执行并行任务）中放置的job太多，三条并行线；这种需要将多个子job放置到另一个job中，start - 子job -success，避免同一个job中设置太多任务数据量很大的job。 第二，Spoon.bat（windows端）和S...
kettle数据溢出了怎么办_KETTLE内存溢出解决方案
weixin_42133452的博客
12-23 2046
kettle内存溢出数据跑到一半或者一大半时报错。在kettle的运行路径中，用文本编辑器打开Spoon.bat，找到:REM ******************************************************************REM ** Set java runtime options **REM ** Change 256m to higher values ...
Kettle内存溢出解决笔记
weixin_43991255的博客
09-24 1843
Kettle内存溢出解决笔记 项目需要把数据从Oracle迁移至MySQL，其中一张表的某个字段特别大，会出现内存溢出的错误，做了以下调整： 修改Spoon.bat的内存配置 用文件打开Spoon.bat，修改配置 if "%PENTAHO_DI_JAVA_OPTIONS%"=="" set PENTAHO_DI_JAVA_OPTIONS="-Xms1024m" "-Xmx2048m" "-XX:MaxPermSize=256m" 根据电脑和项目要求修改Xms和Xmx的值 修改默认缓存条数（默
kettle内存溢出（Java heap space）以及解决方法
renminmin的博客
02-24 3567
kettle内存溢出（Java heap space）以及解决方法 报错 kettle在运行转换的时候，报错：Java heap space（内存溢出）。 解决方式 将表输出的“提交记录数量”改为100，再次运行转换就可以了。
KETTLE_内存溢出错误
热门推荐
深蓝@黄炎龙
01-06 3万+
原创作品，出自 “深蓝的blog” 博客，欢迎转载，转载时请务必注明以下出处，否则追究版权法律责任。 深蓝的blog：   kettle内存溢出错误解决 环境： 源端数据库：oracle 10G R2 目标端数据库：oracle 11G R2 kettle版本：5.0.1-stable 报错： 抽取大数据量表时，报错，日志信息如下： 2015/01/05 11:27:42 -
kettle 持续运行时导致的内存溢出
qq_15274099的博客
02-26 8794
java调用  kettle 长时间运行时候，随着时间的增长，占用内存一直上升，GC无法回收的内存越来越高，导致内存溢出。   请查看你的kettle-core.jar 的版本，如果是4.2一下的，请升级到4.4即可   网上找这个问题找了好久找不到，后来翻墙才看到这个问题，写出来分享下  ...
kettle 内存溢出
05-18
Kettle是一个Java编写的开源ETL工具，内存溢出是常见的问题之一。当数据量较大时，Kettle会占用大量的内存，如果没有正确的配置和优化，就可能会导致内存溢出。以下是一些可能导致Kettle内存溢出的原因和解决方法： 1. 数据量过大：如果处理的数据量过大，Kettle会消耗大量的内存。可以尝试增加JVM内存限制来解决这个问题。 2. 不合理的转换设计：如果转换设计不合理，可能会导致Kettle生成大量的缓存数据，进而导致内存溢出。可以优化转换设计，减少缓存数据的生成。 3. 未关闭的连接：在使用数据库连接时，如果没有正确关闭连接，就会导致内存泄漏，最终导致内存溢出。可以在使用完数据库连接后及时关闭连接。 4. 未正确配置JVM参数：如果JVM参数设置不合理，可能会导致内存溢出。可以根据实际情况适当调整JVM参数。 5. 使用不合理的插件：某些Kettle插件可能会导致内存泄漏或占用大量内存。可以尝试禁用或卸载不必要的插件。 总之，Kettle内存溢出问题需要根据具体情况进行分析和解决，需要综合考虑数据量、转换设计、数据库连接、JVM参数等多方面的因素。
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值