关于DataX 增量更新实现
增量更新总体思路:从目标数据库读取一个最大值的记录,可以是DataTime 或者 RowVersion 类型,然后根据这个最大值对源数据库要同步的表进行过滤,然后再进行同步即可。
由于DataX 支持多种数据库的读写,一种相对简单并且可靠的思路就是:
从csv 文件读取目标数据库上次抽取数据的一个最大值;
动态修改json配置文件(增加过滤条件);
执行修改后的配置文件,进行增量同步;
同步成功,将系统当前时间写入csv文件;
接下来就是shell 脚本来一步一步实现增量更新
增量更新shell 实现
图示如下:
dataX增量更新方案.png
我们的同步环境是从oracle 到 hive,由于dataX 无法从目的数据库(即hive)中读取值,因此改为从csv文件读取,
同样因为无法读取hive数据库内最大值,因此最大值,采用上次数据同步时间。我们要做的只是每次数据同步成功后把系统时间写入到对应的csv文件中(每个表对应一个csv文件)。
1. 数据同步json 配置文件
从oracle 同步到hive ,部分配置如下
例: oracle2hive_ods_s_jy_AB01.json
{