案例介绍:
增量加载是指目标表仅加载源数据表中新增和发生变化的数据。优秀的增量加载机制不但能够将业务系统中的变化数据按一定的频率准确地捕获到并加载到目标表中,同时还不会对业务系统造成太大的压力,也不会影响现有业务。
通过Kettle工具将数据表incremental_source中的数据增量加载到数据表incremental_target中。
7.1.1全量加载
创建转换
配置执行SQL脚本控件,输入SQL语句:delete FROM full_target
配置表输入控件,输入SQL语句:SELECT * FROM full_source
配置表输出控件,选择目标表:full_target
运行成功
7.1.2增量加载
创建转换
配置表输入控件,输入SQL语句:SELECT * FROM incremental_source
配置插入/更新控件,选择用来查询的关键字:id,更新字段:id,name,age,create_time
增量加载成功