Kettle---依赖控制及失败重试

在大数据环境下,直接用SQL脚本清空并立即插入数据可能存在风险,可能导致新数据被误删。解决方案是利用Kettle中的‘计算表中的记录数’与‘等待’步骤,确保表清空完成后再进行数据插入,以避免数据丢失。通过监控表中的记录数变化,并设置合适的等待机制,可以提高操作的安全性。
摘要由CSDN通过智能技术生成

🔎场景介绍:

在千万级数据量的情况下,清空一张表,插入数据。很简单的操作。

可以使用SQL脚本执行清空操作,然后插入数据。

这样的话就可能存在风险:清空指令已执行,但是表还未真正的清空,同时插入数据操作已开始,这样清空数据操作有可能将新插入的数据一并清空。大数据量在Mysql数据库中体现应该更明显。


⭐️解决方案:

在这里插入图片描述

【计算表中的记录数】&【等待】来结合使用,编写如图。

计算表中的记录数

判断表中的数据量(类似select count(1) from table).,也可以自定义自己的SQL
在这里插入图片描述

等待

在这里插入图片描述

其实第一个wait 可以直接指回去判断表中记录。文中为了可读性多余加了一组判断和等待。

  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 7
    评论
评论 7
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Abner G

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值