Kettle---依赖控制及失败重试

🔎场景介绍:

在千万级数据量的情况下,清空一张表,插入数据。很简单的操作。

可以使用SQL脚本执行清空操作,然后插入数据。

这样的话就可能存在风险:清空指令已执行,但是表还未真正的清空,同时插入数据操作已开始,这样清空数据操作有可能将新插入的数据一并清空。大数据量在Mysql数据库中体现应该更明显。


⭐️解决方案:

在这里插入图片描述

【计算表中的记录数】&【等待】来结合使用,编写如图。

计算表中的记录数

判断表中的数据量(类似select count(1) from table).,也可以自定义自己的SQL
在这里插入图片描述

等待

在这里插入图片描述

其实第一个wait 可以直接指回去判断表中记录。文中为了可读性多余加了一组判断和等待。

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 7
    评论
kettle9是一个数据集成和ETL工具,由Kettle项目开发而来。它提供了可视化的界面,使用户能够通过简单的拖拽和配置来设计数据转换和处理的工作流程。Kettle9支持多种类型的数据源,包括关系型数据库、文件、Web服务等,可以方便地对数据进行抽取、清洗、转换和加载等操作。 而kettle-scheduler是基于Kettle9的调度器组件,它提供了一套功能丰富的调度管理和监控机制,可以用于定时执行和控制Kettle9的作业和转换任务。通过kettle-scheduler,用户可以灵活地设置作业的运行时间、频率和触发条件,也可以监控作业的执行状态和运行日志。 kettle-scheduler的核心功能包括以下几个方面: 1. 作业调度管理:kettle-scheduler可以根据用户的需求,设置和管理Kettle9作业的调度计划,包括作业的触发时间、频率、依赖关系等。用户可以设定一次性的任务,也可以设置周期性的任务,以满足不同的业务需求。 2. 作业监控和报警:kettle-scheduler可以实时监控作业的执行状态和运行日志,当作业运行出现异常或错误时,可以及时发送报警通知给相关人员,以便及时处理和修复。 3. 作业并发控制kettle-scheduler可以设置作业的并发执行数量,以控制任务的同时运行数量,避免资源的过度占用和冲突。 总之,kettle9和kettle-scheduler是一套强大的数据集成和调度管理工具,能够帮助用户更高效、灵活地处理和管理数据任务,提高数据的处理效率和准确性。同时,它的可视化界面和丰富的功能也使得用户操作起来更加简单和便捷。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 7
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Abner G

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值