kettle执行sql脚本_kettle时间戳增量同步

时间戳增量同步是数据仓库做数据增量同步4种方式中的一种，虽然对业务系统有一定入侵性，但仍然是比较常用的一种。在这里简单介绍一下如何进行kettle流程设置来实现。

如果对你有参考，有帮助的话，请帮我点个赞

实现原理

时间戳增量同步就是在表中增加一个时间戳字段，每次更新值查询 update _ time >上次更新时间的记录。优点速度快，实现简单，缺点是对数据库有侵入性，对于业务系统也需要更新时间戳，增加了复杂性。

主流程

【1】获取需要更新的时间范围节点

【2】读取需要更新的数据

【3】将筛选出的数据，插入更新目标表

【4】执行sql脚本将目标表最大时间插入中间表（把更新的时间记录下来，下次抽取直接从临时表抽）

在完成首次增量更新后，就可以将第一个步骤中的sql换成从中间表读取时间。

以上就是通过简单例子展现的一个时间戳增量同步demo，希望对你有帮助！