kettle的carte节点运行一段时间后，就报GC错误

最新推荐文章于 2024-08-21 01:07:00 发布

Gxyzz

最新推荐文章于 2024-08-21 01:07:00 发布

阅读量167

点赞数

文章标签： jvm java etl

本文链接：https://blog.csdn.net/Gxyzz/article/details/128581052

版权

###### kettle carte 节点运行一段时间后，就报GC错误

###### java.lang.OutOfMemoryError:

###### 在win中运行大概一周，就报错，在linux中大概一个月报错

###### 修改了jvm内存大小，依旧会有这个问题

###### 各位遇到过这种问题没

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Gxyzz

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

Kettle carte部署与运行

GIS摆渡人

12-12

6065

kettle支持Carte服务级部署模式，即服务器后台会跑一个常驻Carte程序，job/trans都运行在这个服务里 Carte是一个轻量级的web服务，运行远程请求http进行监控，启动，停止在carte服务上运行的job和trans 。 carte服务部署分为单节点部署和集群部署，单节点部署可以理解为只在一台机器上部署carte服务，不涉及cluster相关的配置。...

Kettle Carte集群在windows 上的部署与运行

GIS摆渡人

12-12

1509

本片文章主要是关于使用Kettle的UI界面： Spoon来实现基于集群的对数据库中的数据表数据进行排序的试验。以及在实验过程中所要开启的Carte服务的一些配置文件的设置，还有基于Windows cmd 的相关Carte命令。文章主要分为六个部分： 1.介绍carte　　 2.carte相关配置文件的设定 3.carte服务的开启命令 4.在kettle的图形界面中对...

参与评论您还未登录，请先登录后发表或查看评论

记一次kettle6升级kettle8引发的内存泄漏

weixin_37477226的博客

06-05

979

起因基于一些原因，需要将kettle6.1升级到新版的kettle8.2。升级后发现kettle8每隔几天出现 GC overhead limit exceeded 或者 OutOfMemoryError：Java heap space；一开始猜测kettle8为了提高性能，而牺牲更多的堆内存，便从开始的Xmx2048m 增加到 Xmx4096m. 可是没过几天还是一样出现问题，又从4096m增加到6144m. 问题依旧得不到解决. 通过排查日志发现内存溢出的问题发现：定时重复执行的作业出现数据库连接

【生产复盘】怎么Kettle跑批报错半个月了无人理会

u012432276的博客

06-07

310

一、背景生产机房迁移发现了一个kettle程序自上线以来没有一次成功，觉得很奇怪，没有影响吗，生产没人用吗？二、原因分析此kettle程序是上一位离职同事写的，在此任务迁移前离职了。走之前上线手册没有，上线后没有检查。三、本质原因数据为什么上线后没有检查呢当时开发说历史数据已经手动导入到数据库，执行不执行无所谓，就没有执行。持续十几天报错没人管呢 1）缺少监控机制，没有对此kettle程序进行监控 2）没有运维定期监控四、后续改进推动运维定期巡检上线内容要当场检查离职交接要做

KETTLE作业运行中自动崩溃死掉的解决办法

最新发布

qq_34796062的博客

08-21

680

用KETTLE作为接口工具在生产实践中很常见，不知道大家有没有遇过KETTLE作业运行中自动崩溃死掉的情况。下面简单分享下我对出现这种情况的原因分析以及解决办法。

kettle报错 GC overhead limit exceeded（内存溢出问题）

gym02的博客

12-09

5886

Windows端kettle报错 GC overhead limit exceeded（内存溢出问题）

weixin_72495537的博客

11-14

1262

Windows端kettle报错 GC overhead limit exceeded（内存溢出报错）

关于使用kettle4.3版本的几个小问题

zhaoxinglin123的专栏

07-08

787

1、首先需要导入ojdbc的jar包 2

kettle组件开发运行无效果的问题

u013257767的博客

09-05

633

在对kettle进行二次开发的时候，配置了一个HadoopCofyFiles的组件，远程到Carte服务执行，日志：虽然显示为完成作业项，但其实并没有执行组件相应的功能操作。而在Spoon探索资源库，导入任务执行，发现任务正常执行，说明数据库数据应当没错。于是跟踪代码，发现下面的问题：能够执行成功的作业的JobMeta中JobEntry有明确的实现类。而在问题组件里，entry为MissingEntry。也因此缺失了一部分的配置数据，因此怀疑与这个MissingEntry相关，数据缺失，导致ket

基于kettle carte服务开发的管理kettle任务的系统，可以管理每台kettle的信息，控制任务并发量

03-05

本文将深入探讨如何利用Kettle（Pentaho Data Integration，简称Kettle）的Carte服务开发一个能够管理Kettle任务的系统，同时关注系统设计与开发过程中的信息化管理策略。 Kettle是一款强大的ETL（Extract, ...

kettle 集群 carte

04-09

Carte 是由 Kettle 提供的一个轻量级的 Web 服务器程序，也被称为子服务器（slave）。在 Kettle 调用集群（cluster）进行分布式处理时，可以通过开启多个 Carte 服务进程来支持 ETL (Extract, Transform, Load) 任务...

PDI.pptx Kettle的Spoon使用教程（包括carte,pan,kitchen）

12-03

PDI，全称为Pentaho Data Integration，原名为Kettle，是一款强大的开源ETL（Extract-Transform-Load）工具。它的目标是实现数据的提取、转换和加载，以统一格式促进数据的捕获、清理和存储。PDI由多个组件构成，...

kettle 报错 java.lang.OutOfMemoryError: GC overhead limit exceeded

铬任的博客

03-13

839

kettle报错java.lang.OutOfMemoryError: GC overhead limit exceeded

kettle报错 OutOfMemoryError: GC overhead limit exceeded 解决方法

程序员大佬超的博客

06-20

4419

在使用 kettle 时卡死无响应，所以更换 SpoonConsole.bat 启动分析日志（SpoonConsole.bat 、SpoonDebug.bat 这两个spoon运行会打印日志）。

Kettle调优总结

05-03

4012

Kettle调优总结调整JVM大小进行性能优化，修改Kettle根目录下的Spoon脚本。参数参考： -Xmx2048m：设置JVM最大可用内存为2048M。 -Xms1024m：设置JVM促使内存为1024m。此值可以设置与-Xmx相同，以避免每次垃圾回收完成后JVM重新分配内存。 -Xmn2g：设置年轻代大小为2G。整个JVM内存大小=年轻代大小 + 年老代大小 + 持久代大小。...

Kettle等待

weixin_30252155的博客

05-13

2731

1. Kettle等待应用场景：kettle跑数设定为每隔3小时执行一次，但如果时间到了，上个批次的job还没运行完，就需要等待job运行完才执行下个批次。这里就需要使用kettle的等待机制了。 1) 判断表中的行数配置表中status=1表示kettle正在运行，2表示运行完成。查询表中正在运行的记录数，当这个记录数小于1时，代表没有job运行，则继续。当记录数大于等于...

java.lang.OutOfMemoryError：GC overhead limit excee

weixin_34176694的博客

12-24

1281

2019独角兽企业重金招聘Python工程师标准>>> ...

使用Kettle报错的解决方法