写在前面:
使用文档关注公众号"taskctl"
软件技术问答微信 "kitleer" 备注 "咨询"
“我在spoon里面运行一个作业只要几秒种,但是在TASKCTL中运行却要好几十秒?”
“并行同时运行几个job,就把内存撑爆了,TASKCTL好占资源呀!”
TASKCTL中调用kettle作业,实际上是通过pan和kitchen命令去调用。每一次调用都会重新初始化kettle运行环境,这个过程占用大量的时间。并且每启动一个kettle运行环境都相当于启动一个JVM进程。每个JVM则会占用几百兆(默认设置)的内存。所以同时运行几个作业,也会消耗大量内存资源。极端情况则可能会导致kettle内存溢出,产生致命错误。
这次更新,采用直接调用kettle核心的方式来运行作业。使得调度效率大幅提高,消耗资源(不包含作业本身所耗资源)也大幅降低。并行执行多个作业也能轻松应对了。
一、安装部署:
1. 确保安装环境具备kettle程序目录
2. 下载好插件安装包taskctl-plugin-kettle_1.0.5.zip并解压至自定义安装目录
3. 进入安装目录,执行install命令。请注意windows环境需要以管理员身份运行。
4.