全量加载和增量加载

1.全量加载

打开Kettle工具，创建转换

《1》 配置“执行SQL脚本”控件

双击“执行SQL脚本”界面，单击“新建”按钮，配置数据库连接，配置完成后单击“确认”按钮

连接成功

编写删除数据表full_target中数据的SQL语句 

单击“确定”按钮，完成“执行SQL脚本”控件配置

《2》 配置“表输入”控件

双击“表输入”控件，进入“表输入”界面

      

在SQL框中编写查询数据表full_source数据的SQL语句，然后单击“预览”。

 

 如上图所示，表示成功从MySQL数据库中抽取到表输入中，单击“确定”“关闭”按钮。

《3》配置“表输入”控件

双击“表输入”控件，进入“表输入”界面

单击“浏览”按钮，选择输出的目标表，即数据表full_target.

单击“确定”按钮。

《4》运行转换full_load

《5》查看数据表full_target中的数据

2.增量加载

打开kettle，创建转换

《1》配置“表输入”控件

双击“表输入”控件，进入“表输入”控件

单击“新建”按钮，配置数据库连接，配置完成后单击“确认”按钮

 在SQL框中编写查询数据表incremental_source数据的SQL语句，然后单击“预览”按钮。

从上表看出，数据表incremental_source的数据已经成功从MySQL数据库中抽取到表输入流中，单击“关闭”“确定”按钮。

《2》配置“插入/更新”控件

双击“插入/更新”控件，进入“插入/更新”界面

单击“新建”按钮，配置数据库连接，配置完成后单击“确认” 按钮

 单击在目标表处的“浏览”按钮，弹出“数据库浏览器”窗口，选择目标表incremental_target

 单击“获取字段”按钮，指定查询数据需要的关键字：单击“获取和更新字段”按钮

 单击“确定”按钮，完成配置

《3》修改数据表incremental_source中的数据（即添加新增的数据）

《4》运行转换incremental_load

《5》 查看数据表incremental_target中的数据