7.1.2 增量加载
1.案例介绍
通过Kettle工具将数据表incremental_source中的数据增量加载到数据表incremental_target_copy中。
2.数据准备
现有两张数据表,分别为incremental_source和incremental_target_copy,其中incremental_source为源数据表,incremental_target_copy为目标数据表。数据表incremental_source和incremental_target_copy的表结构、数据都是相同的,具体如图所示。
3.具体步骤
(1)打开Kettle工具,创建转换
使用Kettle工具,创建一个转换incremental_load,并添加表输入控件、插入/更新控件以及Hop跳连接线,具体如图所示。
(2)配置表输入控件
双击“表输入”控件,进入“表输入”配置界面,单击【新建】按钮,配置数据库连接,在SQL框中编写查询数据表incremental_source的SQL语句,然后单击【预览】按钮,查看数据表incremental_source的数据是否成功从MySQL数据库中抽取到表输入流中,具体如图所示。
(3) 配置插入/更新控件
双击“插入/更新”控件,进入“插入/更新”配置界面,配置数据库连接,单击目标表处的【浏览】按钮,弹出“数据库浏览器”窗口,选择目标表incremental_target_copy,具体如图所示。
单击【获取字段】按钮,用来指定查询数据所需要的关键字,单击【获取和更新字段】按钮,用来指定需要更新的字段,具体如图所示。
(4)修改数据表incremental_source中的数据
在数据表incremental_source中新增一条id为6、name为Mary、age为23的数据;对数据表incremental_source中id为2的数据进行修改,即将这条数据的年龄(age)改为25。修改后的数据表incremental_source中的数据内容如图所示。