数据清洗 黑马程序员 第七章 数据加载——阅读笔记

7.1 数据加载机制

数据的加载机制与数据的抽取机制相类似，数据的加载机制可以分为全量加载和增量加载。其中，全量加载是指将目标数据表中的数据全部删除后，进行数据加载的操作；而增量加载是指目标表只加载源数据表中变化的数据，其中变化的数据包含新增、修改和删除的数据。

7.1.1 全量加载
案例实现

数据准备

假设，现有两张数据表，分别为数据表full_source和数据表full_target，其中数据表full_source为源数据表，数据表full_target为目标数据表。数据表full_source和full_target的内容如图1、图2所示：

图1  数据表full_source

 图2 数据表full_target

1.打开Kettle工具，创建转换

使用Kettle工具，创建一个转换full_load，并添加执行SQL脚本控件、表输入控件、表输出控件以及Hop跳连接线，具体如图3所示：

图3  创建转换full_load

2.配置执行SQL脚本控件

双击“执行SQL脚本”控件，进入“执行SQL语句”界面，单击"新建"按钮，配置数据库连接，配置完成后单击"确认"按钮。MySQL数据库连接的配置,如图4所示；在SQL框中编写删除数据表full_target中数据的SQL语句，如图5所示：

 图4 配置数据库连接

图5 编写SQL语句 

3.配置表输入控件

双击“表输入”控件，进入“表输入”配置界面，在SQL框中编写查询full_source数据表的SQL语句，单击"预览"按钮，查看full_source数据表的数据是否成功从MySQL数据库中抽取到表输入流中，如图所示如图6所示：

 图6 编写SQL语句和预览数据

4.配置表输出控件

双击“表输出”控件，进入“表输出”配置界面；单击目标表处的"浏览"按钮，选择输出的目标表，即数据表full_target，这里不需要新建数据库连接，只需要选择已创建的数据库连接即可，如图7所示:

 图7 选择目标表full_load

5.运行转换full_load

单击转换工作区顶部的按钮，运行创建的转换full_load，实现将数据表full_source中的数据全量加载到数据表full_target中，如图8所示:

 图8 运行转换full_load

6.查看数据表full_target中的数据

通过SQLyog工具，查看数据表full_target是否已成功加载到数据，查看结果如图9所示:

图9  数据表full_targe

7.1.2 增量加载

案例实现

数据准备

假设，现有两张数据表，分别为incremental_source和incremental_target，其中incremental_source为源数据表，incremental_target为目标数据表。数据表incremental_source和incremental_target的表结构、数据都是相同的，具体如图10、图11所示：

图10  数据表incremental_source

 图11 数据表incremental_target

1.打开Kettle工具，创建转换

使用Kettle工具，创建一个转换incremental_load，并添加表输入控件、插入/更新控件以及Hop跳连接线，具体如图12所示：

 图12 创建转换incremental_load

2.配置表输入控件

双击“表输入”控件，进入“表输入”配置界面，单击"新建"按钮，配置数据库连接，配置完成后单击"确认"按钮。MySQL数据库连接的配置，具体如图13所示:

 图13 MySQL数据库连接的配置

在SQL框中编写查询数据表incremental_source的SQL语句，然后单击"预览"按钮，查看数据表incremental_source的数据是否成功从MySQL数据库中抽取到表输入流中，具体如图14所示:

 图14 编写SQL语句和预览数据

3.配置插入/更新控件

双击“插入/更新”控件，进入“插入/更新”配置界面，单击"新建"按钮，配置数据库连接，配置完成后单击"确认"按钮。单击目标表处的"浏览"按钮，弹出“数据库浏览器”窗口，选择目标表incremental_target，单击"获取字段"按钮，用来指定查询数据所需要的关键字，这里通过比较数据表incremental_target的字段id与输入流里的字段id是否一致为关键条件，更新数据表中的其它字段数据；单击"获取和更新字段"按钮，用来指定需要更新的字段，具体如图15所示:

 图15 配置“插入/更新”控件

4.修改数据表incremental_source中的数据

在数据表incremental_source中新增一条id为6、name为Mary、age为23的数据；对数据表incremental_source中id为2的数据进行修改，即将这条数据的年龄（age）改为25。修改后的数据表incremental_source中的数据内容如图16所示:

 

 图16 修改后的数据表incremental_source

5.运行转换incremental_load

单击转换工作区顶部的 按钮，运行创建的转换incremental_load，实现将数据表incremental_source中的数据增量加载到数据表incremental_target中，如图17所示:

 图17 运行转换incremental_load

6.查看数据表incremental_target中的数据

通过SQLyog工具，查看数据表incremental_target是否已成功加载到数据，查看结果如图18所示:

 图18 数据表incremental_target

7.2 数据的批量加载

通常情况下，对于几千条甚至几十万条记录的数据迁移而言，采取DML（即数据操纵语言）的INSERT语句能够很好地将数据迁移到目标数据库中。然而，当数据迁移量过于庞大时，就不能使用INSERT语句，因为执行INSERT、UPDATE以及DELETE语句的操作都会生成事物日志，事物日志的生成会减慢加载的速度，故需要针对数据采取批量加载操作。

案例实现

数据准备

假设，现有一个CSV格式的微博用户信息文件weibo_user.csv，其中包含了用户id、用户名称、用户性别、用户简介等字段，文件weibo_user.csv的具体内容如图19所示（这里只截取了部分数据）：

 图19 数据表weibo_user.csv

1.打开Kettle工具，创建转换

使用Kettle工具，创建一个转换batch_load，并添加执行CSV文件输入控件、表输出控件以及Hop跳连接线，具体如图20所示：

图20  创建转换batch_load

2.配置CSV文件输入控件

双击“CSV文件输入”控件，进入“CSV文件输入”配置界面，在“文件名”处单击"浏览"按钮，选择要抽取的CSV文件weibo_user.csv；单击"获取字段"按钮，让Kettle自动检索CSV文件，并对文件中字段的类型、格式、长度、精度等属性进行解析，如图21所示，单击"预览"按钮，查看CSV文件weibo_user.csv的数据是否抽取到CSV文件输入流中,具体如图22所示：

图21  配置“CSV文件输入”控件

 图22 预览数据

3.配置表输出控件

双击“表输出”控件，进入“表输出”配置界面，单击"新建"按钮，配置数据库连接，配置完成后单击"确认"按钮。数据库连接的配置，具体如图23所示:

 图23 数据库连接的配置

单击目标表右侧的"浏览"按钮，选择输出的目标表，即数据表weibo_user；勾选“指定数据库字段”的复选框，用于将weibo_user数据表的字段与weibo_user.csv文件中的字段进行匹配；勾选“使用批量插入”的复选框，用于批量加载数据至目标表中，选择“数据库字段”选项卡，单击"输入字段映射"按钮，弹出“映射匹配”对话框，依次选中“源字段”选项框的字段和“目标字段”选项框的字段，再单击"Add"按钮，将一对映射字段添加至“映射”选项框中，若“源字段”选项框的字段和“目标字段”选项框的字段相同，则可以单击"猜一猜"按钮，让Kettle自动实现映射，如图24所示:

 图24 设置映射匹配

单击映射匹配对话框的“”确定“”按钮，“表输出”界面最终显示的效果，具体如图25所示：

 图25 “表输出”控件的配置效果

4.运行转换batch_load

单击转换工作区顶部的 按钮，运行创建的转换batch_load，实现将CSV文件weibo_user.csv中的数据批量加载到数据表weibo_user中，“表输出”界面最终显示的效果如图26所示：

 图26 运行转换batch_load

5.查看数据表weibo_user中的数据

通过SQLyog工具，查看数据表weibo_user是否已成功加载到数据，查看结果如图27所示：

 图27 数据表weibo_user