kettle 通过配置文件实现 跨数据库 增量同步表数据

一、需求背景

将数据库ORA中的ACCOUNT、OWNERS表增量迁移到数据库ORA2的ACCOUNT_KETTLE、OWNERS_KETTLE表中。

（增量迁移指：仅更新上次同步时间至今所新增的数据，非重新更新全部数据）

 二、分析

本次是在单表增量同步上多加了“配置文件、设置多个变量、循环”的步骤

配置文件、设置变量 指：事先将需求表相关信息记录在excel表中，目的是将相关表信息设置为变量便于做循环同步

相关信息有：目标数据表名、源数据表名、主键、同步表名、时间键、有效键

 循环包括三大部分：获取每个表上一次更新成功的时间、同步新增每个表数据、更新每个表同步的日志记录

三、总体路径

大job路径

小job路径（2-同步表的增量数据）

 

四、步骤

1、 获取表信息并复制到结果

此处较简单，省略该步骤截图

2-同步表的增量数据.job

2-1、获取上一步的表信息、并全部设置为变量

2-3、获取上一次成功的时间 并设置为变量

注意引用刚设置的变量！

 注意改时间格式！！！

 

 2-3、同步增量数据

 这里注意变量的引用：如果是用于字符串的值，需要加单引号！！！

  

 3、更新日志记录

       注意：插入变量“SOURCE_TABLE_NAME”需要加单引号，表示为字符串值,否则报错 

五、结果

两个表的上次更新时间均为2021-07-31 0:11:11

ACCOUT_KETTLE表，红框为本次新增的数据

 OWNERS_KETTLE表，红框为本次新增的数据

 

注意：出错主要还是在日期格式转换、引用变量作为字符串值上 ，

1、需要将日期设置为变量时，事前需要格式转换为date yyyy-mm-dd hh24:mi:ss，

2、引用变量来作为字符串值时，需要加上 单引号 ‘’