7.1 数据的加载机制
7.1.1 全量加载
1 )打开Kettle工具,创建转换
使用Kettle工具,创建一个转换full_load,并添加执行SQL脚本控件、表输入控件、表输出控件以及Hop跳连接线,具体如图所示。
2)配置控件
双击“执行SQL脚本”控件,进入“执行SQL语句”界面,具体如图所示。
双击“表输入”控件,进入“表输入”配置界面,在SQL框中编写查询full_source数据表的SQL语句,如图所示。
单击【预览】按钮,查看full_source数据表的数据是否成功从MySQL数据库中抽取到表输入流中,如图所示。
双击“表输出”控件,进入“表输出”配置界面;单击目标表处的【浏览】按钮,选择输出的目标表,即数据表full_target,这里不需要新建数据库连接,只需要选择已创建的数据库连接即可,如图所示。
3)运行程序
4)查看运行结果
7.1.2增量加载
1)打开Kettle工具,创建转换
使用Kettle工具,创建一个转换incremental_load,并添加表输入控件、插入/更新控件以及Hop跳连接线,具体如图所示。
2)配置控件
双击“表输入”控件,进入“表输入”配置界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置,具体如图所示。
单击目标表处的【浏览】按钮,弹出“数据库浏览器”窗口,选择目标表incremental_target,具体如图所示。
3)运行程序
4)查看结果
加载成功
7.2 数据的批量加载
1)打开Kettle工具,创建转换
使用Kettle工具,创建一个转换batch_load,并添加执行CSV文件输入控件、表输出控件以及Hop跳连接线,具体如图所示。
2)配置控件
双击“CSV文件输入”控件,进入“CSV文件输入”配置界面,具体如图所示。
查看是否导入成功
配置输出控件
3)运行程序
将CSV文件weibo_user.csv中的数据批量加载到数据表weibo_user中,“表输出”界面最终显示的效果如图所示。
4)查看结果
查看数据表weibo_user是否已成功加载到数据,查看结果如图所示。