Kettle(三)数据写入错误如何处理?

Kettle作为数据治理工具,总是会涉及到数据的搬迁,在原始数据过大、种类过多时写入肯定会出现一些错误(缺少必填项、数据格式错误、主键冲突等等),那么Kettle如何解决?其实Kettle与我们自己写程序的思维不会有本质性的差别,因此我们常见的处理方式基本上都可以得到解决。基本上我们常规的解决办法:阻断执行、忽略错误继续执行、记录错误数据。

1.阻断执行

Kettle的默认执行方式,不做任何异常处理即为阻断执行逻辑,不做太多赘述。

2.忽略错误继续执行

当遇到写入错误时忽略错误记录,这里就出现了一个隐含要求(Kettle本身为保证执行效率多为批量数据入库,为了发现执行错误的记录只能一条条的入库了):

1)取消勾选“使用批量插入” 

2)勾选“忽略插入错误”

3.记录错误数据补偿执行

  1. 右键输入表, 选择定义错误处理

  1. 编辑错误信息key值

  1. 保存错误信息

d. 增加错误信息表数据读取,自定义补偿逻辑

  • 0
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值