如何在开源调度工具taskctl里完成kettle作业定时调度部署?

本文介绍了如何在taskctl中优化kettle作业的定时调度部署,通过直接调用kettle核心来提高调度效率,减少资源消耗。详细步骤包括安装部署、使用教程和常见问题解答,支持不同版本的kettle和资源库类型。
摘要由CSDN通过智能技术生成

写在前面:

使用文档关注公众号"taskctl"

软件技术问答微信 "kitleer" 备注 "咨询"

“我在spoon里面运行一个作业只要几秒种,但是在TASKCTL中运行却要好几十秒?”

“并行同时运行几个job,就把内存撑爆了,TASKCTL好占资源呀!”

 

TASKCTL中调用kettle作业,实际上是通过pan和kitchen命令去调用。每一次调用都会重新初始化kettle运行环境,这个过程占用大量的时间。并且每启动一个kettle运行环境都相当于启动一个JVM进程。每个JVM则会占用几百兆(默认设置)的内存。所以同时运行几个作业,也会消耗大量内存资源。极端情况则可能会导致kettle内存溢出,产生致命错误。

       这次更新,采用直接调用kettle核心的方式来运行作业。使得调度效率大幅提高,消耗资源(不包含作业本身所耗资源)也大幅降低。并行执行多个作业也能轻松应对了。

一、安装部署:

1.      确保安装环境具备kettle程序目录

2.      下载好插件安装包taskctl-plugin-kettle_1.0.5.zip并解压至自定义安装目录

3.      进入安装目录,执行install命令。请注意windows环境需要以管理员身份运行。

4.   

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值