Kettle
攻城狮Kevin
爱学习,爱工作,爱生活
展开
-
记一次Kettle OOM排查过程,以及想到的四种优化解决方案
目录场景:排查:三、最终排查原因四、解决方案考虑有四种(1)在kettle中对并行执行的任务增加一个随机时间等待,如下(2)30个并行任务分3次跑(3)考虑引入zabbix和zaa监控框架(4)将部分项目迁移到别的服务器场景:公司kettle上有30个子业务,每个业务对应一个项目id(projId),在kettle中设置30个业务并发执行,平时机器都运行健康...原创 2019-06-24 22:17:03 · 3990 阅读 · 0 评论 -
Kettle内存溢出的相关设置
kettle的内存溢出,如下图,一般是三个原因:第一,某个job(例如图中的job_smart_etl_launcher_daily_start这个job,执行并行任务)中放置的job太多,三条并行线;这种需要将多个子job放置到另一个job中,start - 子job -success,避免同一个job中设置太多任务数据量很大的job。第二,Spoon.bat(windows端)和S...原创 2020-01-03 11:23:38 · 6684 阅读 · 0 评论 -
java command not found 问题出现和解决
在kettle中运行脚本,脚本里需要运行jar包,java -jar XXXX.jar然后运行日志报错显示java command not found说明在kettle中运行脚本时,找不到java的路径,需要在运行脚本中加上如下三行即可:export JAVA_HOME=/home/hdp_teu_dpd/user/wangxuan/wmda/jdk1.8.0_131export ...原创 2019-12-18 22:38:17 · 11545 阅读 · 0 评论 -
Kettle中作业执行器 & 转换执行器的命令行使用说明
1.Kitchen——作业执行器kitchen.sh,是一个作业执行引擎,用来执行作业。这是一个命令行执行工具, 参数说明如下1) -rep:Repositoryname 任务包所在存储名2) -user:Repositoryusername 执行人3) -pass:Repositorypassword 执行人密码4) -job:Thenameofthejobtolaunc...原创 2019-05-22 16:19:38 · 1513 阅读 · 0 评论