黑马程序员《数据清洗》学习笔记第六章数据转换操作题

最新推荐文章于 2022-12-06 11:16:27 发布

眨个眼就睡着

最新推荐文章于 2022-12-06 11:16:27 发布

阅读量509

点赞数

分类专栏：黑马程序员《数据清洗》学习笔文章标签： etl

本文链接：https://blog.csdn.net/qq_45744760/article/details/121022374

版权

这篇博客介绍了如何使用Kettle进行数据转换操作，包括两个实战题目。第一题涉及数据粒度转换，通过一系列控件配置，将文本文件中的household_register字段转换为省份（直辖市）。第二题则对文本文件中的salary字段进行商务规则计算，计算每个人的月薪，并将结果输出到新的文本文件。整个过程详细展示了Kettle工具的使用步骤和配置细节。

摘要由CSDN通过智能技术生成

（28）运行作业generalization

（29）查看文本文件personnel_data_new.txt中的数据

（6）运行转换monthly_salary

（7）查看文本文件personnel_data_monthly_salary.txt中的数据

操作题：

题目一：

（1）实现对文本文件personnel_data.txt中的数据进行数据粒度的转换，即将文本文件personnel_data.txt中字段为household_register的数据统一成省份（直辖市），并输出到文本personnel_data_new.txt中。

（1）打开Kettle工具，新建转换

使用Kettle工具，创建一个转换generalization，并添加文本文件输入控件、表输入控件、字段选择控件、排序记录控件、记录集连接控件、表输出控件以及Hop跳连接线，如图6-1所示。

图6-1

（2）配置文本文件输入控件

双击图6-1中的“文本文件输入”控件，进入“文本文件输入”界面，单击【浏览】按钮，选择要抽取personnel_data.txt文件；单击【增加】按钮，将要抽取的personnel_data.txt文件添加到generalization转换中，如图6-2。

图6-2

在图6-2中，单击“内容”选项卡，在分隔符处清除默认分隔符“；”，单击【Insert TAB】按钮，在分隔符处插入一个制表符；取消勾选“头部”复选框。“内容”选项卡的配置具体效果如图6-3所示。

图6-3

在图6-3中，单击“字段”选项卡，根据personnel_data.txt文件的内容添加对应的字段名称，并指定数据类型。“字段”选项卡的配置，如图6-4所示；单击【确定】按钮，完成“文本文件输入”控件的配置。

图6-4

（3）配置字段选择控件

双击图6-1中的“字段选择”控件，进入“选择/改名值”界面，在“选择和修改”选项卡处添加字段名称，具体如图6-5所示；单击【确定】按钮，完成“字段选择”控件的配置。

图6-5

（4）配置排序记录控件

双击图6-1中的“排序记录”控件，进入“排序记录”界面，并在“字段”框中添加字段household_register，对其进行排序，具体如图6-6所示；单击【确定】按钮，完成“排序记录”控件的配置。

图6-6

（5）配置表输入控件

双击图6-1中的“表输入”控件，进入“表输入”界面，如图6-7所示。

图6-7

在图6-7中，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。MySQL数据库连接的配置，具体如图6-8所示。

图6-8

在图6-75中的SQL框中编写SQL语句，用于查询city数据表（该表需提前创建，读者执行本书提供的data.sql脚本文件可生成city数据表）中字段city和pid的数据，用于与personnel_data.txt文件中household_register字段进行合并连接，具体如图6-9所示；单击【确定】按钮，完成“表输入”控件的配置。

图6-9

（6）配置排序记录2控件

双击图6-1中的“排序记录 2”控件，进入“排序记录”界面，在“字段”框中添加字段city，并对其进行排序，具体如图6-10所示；单击【确定】按钮，完成“排序记录2”控件的配置。

图6-10

（7）配置记录集连接控件

双击图6-1中的“记录集连接”控件，进入“合并排序”界面，在“第一个步骤”处的下拉框中选择“排序记录”，“第二个步骤”处的下拉框中选择“排序记录2”；在“第一个步骤的连接字段”和“第二个步骤的连接字段”处添加连接字段，这里添加的连接字段是household_register和city；在“连接类型”处的下拉框选择连接类型，这里选择的LEFT OUTER，即左外连接，具体如图6-11所示；单击【确定】按钮，完成记录集连接控件的配置。