定时调度任务——kettle开发08

一、Start任务调度

当我们刚接触kettle时,我们为了方便测试和演示作业的效果,常常通过Start组件来定时完成作业的调度。 在我们的作业里头,我们选择通用,然后选择一个START组件,双击打开,我们就可以看到,START组件可以通过勾选重复,按照我们的要求来定时运行我们的作业。

如下图所示,我们设置作业每小时运行一次,然后我们可以在日志栏详细看到我们的运行记录,包括运行时长,读取、删除、插入、更新那些记录。

 

 总结:这种方式,操作简单,随时可以监控到运行情况,但需要打开kettle软件才能运行,且长时间运行,会因为出现错误导致,定时任务失败,一般用于测试和调度读取CSV和EXCEL文件的场景。

二、winds任务调度

上面讲到通过Start组件来定时调用作业,但这种方法容易导致运行失败,也会因为服务器重启导致调度任务被强制关闭而终止。接下来介绍一种在后台运行,无需打开kettle程序即可定时调度作业的方法。首先我们来看一个调度案例,对应调度脚本由bat脚本组成,脚本内容包括三个部分。调度用到的exe程序、作业的位置、日志保持的位置及级别。

如: cd D:\kettle\pdi-ce-5.4.0.1-130\data-integration kitchen.bat /file D:\etl\数采实时数据\生产日报\生产日报-集团\集团生产日报作业.kjb /level Basic>>D:\kettle\log\fjl_%date:~0,4%%date:~5,2%%date:~8,2%.log

编写好的脚本,通过定时任务进行调度来完成整个定时作业的执行。

添加到window的任务计划程序中,并设置需要执行的频率。

总结:此方法,可以并发执行同一个或者多个作业,运行稳定,抗干扰能力强,但容易占用太多kettle缓存,出现kettle作业运行失败的问题。

kettle作业可以通过两种常用的定时调度方法来实现。一种方法是通过编写脚本,并使用定时任务来触发作业的执行。这种方法可以并发执行同一个或多个作业,运行稳定,抗干扰能力强。然而,它可能会占用太多的kettle缓存,导致作业运行失败的问题。所以在不考虑小问题的情况下,推荐使用这种方式。\[2\] 另一种方法是使用kettle自带的作业调度功能。通过设置定时脚本,可以方便地实现kettle作业的定时调度。在这种方法中,你需要确保已经搭建好了kettle环境和SQL Server环境。一旦准备就绪,你可以直接进入设置定时脚本的步骤,从而实现kettle作业的定时调度。\[3\] #### 引用[.reference_title] - *1* *2* [kettle开发篇-作业调度-Day8](https://blog.csdn.net/qq_29061315/article/details/129401261)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [Kettle定时任务调度](https://blog.csdn.net/nanyangnongye/article/details/122042744)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

沙漏无语

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值