本文档介绍了一种使用Kettle通过配置文件实现跨数据库增量同步表数据的方法，详细阐述了需求背景、分析、操作步骤及可能遇到的问题。涉及到的关键步骤包括设置变量、读取配置文件、循环同步和更新日志记录。最后展示了同步结果，并提醒了关于日期格式转换和变量引用的注意事项。
一、需求背景
将数据库ORA中的ACCOUNT、OWNERS表增量迁移到数据库ORA2的ACCOUNT_KETTLE、OWNERS_KETTLE表中。
（增量迁移指：仅更新上次同步时间至今所新增的数据，非重新更新全部数据）
二、分析
本次是在单表增量同步上多加了“配置文件、设置多个变量、循环”的步骤
配置文件、设置变量 指：事先将需求表相关信息记录在excel表中，目的是将相关表信息设置为变量便于做循环同步
相关信息有：目标数据表名、源数据表名、主键、同步表名、时间键、有效键
循环包括三大部分：获取每个表上一次更新成功的时间、同步新增每个表数据、更新每个表同步的日志记录
三、总体路径
大job路径
小job路径（2-同步表的增量数据）
四、步骤
1、 获取表信息并复制到结果
最低0.47元/天 解锁文章
扫一扫
1428
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
