kettle根据自增id做增量加载

kettle根据自增id做增量加载
1.场景介绍:
根据自增id做增量加载
2.案例适用范围:
增量数据同步可参考,变量运用可参考
3.前期配置表准备:

a.建好两张配置表在这里插入图片描述
b.样例数据准备:
在这里插入图片描述
c.配置要加载的表信息到增量加载配置表中
在这里插入图片描述
4.整个job设置如下设计:
在这里插入图片描述
在这里插入图片描述
a.获取上次记录的自增id设计如下:
在这里插入图片描述
b.更新自增id设计如下:
在这里插入图片描述
c.记录增量数据量设计如下:
在这里插入图片描述
d.同步数据步骤很简单就是表输入表输出
在这里插入图片描述
e.整个job调用通用转换关键变量设置:
在这里插入图片描述
5.调作业查看结果:
a.job运行成功
在这里插入图片描述
查看配置表是否更新成功
在这里插入图片描述
b.查看目标表数据已加载成功
在这里插入图片描述

c.源表新增数据测试增量是否正确
在这里插入图片描述
重新调job
在这里插入图片描述
重新查看目标表数据新增了两条
在这里插入图片描述
查看配置表id更新成最大的5
在这里插入图片描述
增量日志记录
在这里插入图片描述
如内容有错欢迎大家指正!!!
资源下载链接:kettle通过id自增做增量加载
更多ketlle视频资料下载地址:kettle视频资料
读后有收获可以支付宝请作者喝咖啡
在这里插入图片描述
读后有疑问请加QQ群来聊一聊 kettle那些事!
在这里插入图片描述

  • 11
    点赞
  • 15
    收藏
    觉得还不错? 一键收藏
  • 4
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值