kettle根据自增id做增量加载
1.场景介绍:
根据自增id做增量加载
2.案例适用范围:
增量数据同步可参考,变量运用可参考
3.前期配置表准备:
a.建好两张配置表
b.样例数据准备:
c.配置要加载的表信息到增量加载配置表中
4.整个job设置如下设计:
a.获取上次记录的自增id设计如下:
b.更新自增id设计如下:
c.记录增量数据量设计如下:
d.同步数据步骤很简单就是表输入表输出
e.整个job调用通用转换关键变量设置:
5.调作业查看结果:
a.job运行成功
查看配置表是否更新成功
b.查看目标表数据已加载成功
c.源表新增数据测试增量是否正确
重新调job
重新查看目标表数据新增了两条
查看配置表id更新成最大的5
增量日志记录
如内容有错欢迎大家指正!!!
资源下载链接:kettle通过id自增做增量加载
更多ketlle视频资料下载地址:kettle视频资料
读后有收获可以支付宝请作者喝咖啡
读后有疑问请加QQ群来聊一聊 kettle那些事!