数据转换实例

最新推荐文章于 2021-12-04 14:22:19 发布

旺仔ᥬQ᭄ᥬQ᭄糖

最新推荐文章于 2021-12-04 14:22:19 发布

阅读量183

点赞数

文章标签： mysql 大数据

本文链接：https://blog.csdn.net/weixin_54554221/article/details/120740379

版权

本文详细介绍了如何使用Kettle工具，首先对personnel_data.txt中的household_register字段进行省份转换，并将结果输出至personnel_data_new.txt。接着，通过计算salary数据生成月薪，存入personnel_data_monthly_salary.txt。

摘要由CSDN通过智能技术生成

现有一个文本文件personnel_data.txt，包含字段id、name、id_number、household_register和salary。通过kettle工具，实现以下功能：

一.对文本文件personnel_data.txt中的数据进行数据粒度的转换，即将文本文件personnel_data.txt中字段为household_register的数据统一成省份，并输出到文本文件personnle_data_new.txt中。
1.打开Kettle工具，新建转换
在这里插入图片描述
2.配置文本文件输入控件
（1）双击“文本文件输入”控件，进入“文本文件输入”界面，单击“浏览”按钮，选择personnel_data.txt文件；单击“增加”按钮，将personnel_data.txt文件添加到generalization转换中。
在这里插入图片描述
（2）单击“内容”选项卡，在分隔符处清除默认分隔符“；”，单击“Insert TAB”按钮，在分隔符处插入一个制表符；取消勾选“头部”复选框。

（3）单击“字段”选项卡，根据personnel_data.txt文件的内容添加对应的字段名称，并指定数据类型。
在这里插入图片描述
3.配置字段选择控件
双击“字段选择”控件，进入“选择/改名值”界面，在“选择和修改”选项卡处添加字段名称：

4.配置排序记录控件
双击“排序记录”控件，进入“排序记录”界面，并在“字段”框中添加字段household_register，对其进行排序：
在这里插入图片描述
5.配置表输入控件
双击“表输入”控件，进入“表输入”界面，单击“新建”按钮，配置数据库连接，配置完成后单击“确认”按钮，在SQL框中编写SQL语句，用于查询city数据表中字段city和pid的数据，用于与personnel_data.txt文件中household_register字段进行合并连接：
在这里插入图片描述
6.配置排序记录2控件
双击“排序记录 2”控件，进入“排序记录”界面，在“字段”框中添加字段city，并对其进行排序：

7.配置记录集连接控件
双击“记录集连接”控件，进入“合并排序”界面，在“第一个步骤”处的下拉框中选择“排序记录”，“第二个步骤”处的下拉框中选择“排序记录2”；在“第一个步骤的连接字段”和“第二个步骤的连接字段”处添加连接字段，这里添加的连接字段是household_register和city；在“连接类型”处的下拉框选择连接类型，这里选择的LEFT OUTER，即左外连接：
在这里插入图片描述
8.配置字段选择2控件
双击“字段选择2”控件，进入“选择/改名值”界面，在“选择和修改”选项卡处添加字段名称，这里添加的是记录集连接流中的字段household_register和pid：

9.配置排序记录3控件
双击“排序记录 3”控件，进入“排序记录”界面，在“字段”框中添加字段pid，并对其进行排序：
在这里插入图片描述
10.配置表输入2控件
双击“表输入2”控件，单击“新建”按钮，配置数据库连接，配置完成后单击“确认”按钮；在SQL框中编写SQL语句，用于查询provincial数据表中字段Provincial和pid的数据，用于与household_register字段进行合并连接：
在这里插入图片描述
11.配置排序记录4控件
双击“排序记录 4”控件，进入“排序记录”界面，在“字段”框中添加字段pid，并对其进行排序：

12.配置记录集连接2控件
双击“记录集连接2”控件，进入“合并排序”界面，在“第一个步骤”处的下拉框中选择“排序记录3”，“第二个步骤”处的下拉框中选择“排序记录4”；在“第一个步骤的连接字段”和“第二个步骤的连接字段”处添加连接字段，这里添加的连接字段是pid；在“连接类型”处的下拉框选择连接类型，这里选择的LEFT OUTER，即左外连接：
在这里插入图片描述
13.配置字段选择3控件
双击“字段选择3”控件，进入“选择/改名值”界面，在“选择和修改”选项卡处添加字段名称，这里添加的是记录集连接2流中的字段household_register和Provincial：

14.配置表输出控件
双击“表输出”控件，单击“新建”按钮，配置数据库连接，配置完成后单击“确认”按钮；单击目标表右侧的【浏览】按钮，选择输出的目标表，即临时数据表personnel；勾选“指定数据库字段”的复选框，单击“输入字段映射”按钮，弹出“映射匹配”对话框，依次选中“源字段”选项框的字段和“目标字段”选项框的字段，再单击“Add”按钮，将一对映射字段添加至“映射”选项框中：
在这里插入图片描述
15.打开Kettle工具，新建转换

16.配置表输入控件
双击“表输入”控件，进入“表输入”界面，单击“新建”按钮，配置数据库连接，配置完成后单击“确认”按钮；在SQL框中编写SQL语句，用于查询数据表personnel中的数据：
在这里插入图片描述
17.配置字段选择控件
双击“字段选择”控件，进入“选择/改名值”界面，在“选择和修改”选项卡处添加字段名称：

18.配置排序记录控件
双击“排序记录”控件，进入“排序记录”界面，并在“字段”框中添加字段id，对其进行排序：
在这里插入图片描述
19.配置文本文件输入控件
（1）双击“文本文件输入”控件，进入“文本文件输入”界面，单击“浏览”按钮，选择要抽取personnel_data.txt文件；单击“增加”按钮，将要抽取的personnel_data.txt文件添加到generalization_merge转换中；
（2）单击“内容”选项卡，在分隔符处清除默认分隔符“；”，单击“Insert TAB”按钮，在分隔符处插入一个制表符，取消勾选“头部”复选框；
（3）单击“字段”选项卡，根据文本文件personnel_data.txt的内容添加对应的字段名称，并指定数据类型
在这里插入图片描述
（3）单击“字段”选项卡，根据文本文件personnel_data.txt的内容添加对应的字段名称，并指定数据类型：

20.配置字段选择2控件
双击“字段选择2”控件，进入“选择/改名值”界面，在“选择和修改”选项卡处添加字段名称：
在这里插入图片描述
21.配置排序记录2控件
双击“排序记录2”控件，进入“排序记录”界面，并在“字段”框中添加字段id，对其进行排序：

22.配置记录集连接控件
双击“记录集连接”控件，进入“合并排序”界面，在“第一个步骤”处的下拉框中选择“排序记录”，“第二个步骤”处的下拉框中选择“排序记录2”；在“第一个步骤的连接字段”和“第二个步骤的连接字段”处添加连接字段，这里添加的连接字段是id；在“连接类型”处的下拉框选择连接类型，这里选择的LEFT OUTER，即左外连接：
在这里插入图片描述
23.配置字段选择3控件
双击“字段选择3”控件，进入“字段选择”界面，在“选择和修改”选项卡处添加字段名称，并将字段household_register_new改为household_register：

24.配置文本文件输出控件
（1）双击“文本文件输出”控件，进入“文本文件输出”界面，单击“文件名称”右侧的“浏览”按钮，选择输出文件，即文本文件personnel_data_new：
（2）单击“内容”选项卡，进入“内容”界面，清除分隔符处的默认分隔符，单击“插入Tab”按钮，插入Tab分隔符。并在编码处的下拉框选择“UTF-8”编码：
在这里插入图片描述
（3）单击“字段”选项卡，进入“字段”界面，添加要输出的字段：

25.打开Kettle工具，新建作业

26.配置转换控件
双击图6-41中的“转换”控件，进入“转换”界面，选择添加转换generalization：

27.配置转换2控件
双击“转换2”控件，进入“转换”界面，选择添加转换generalization_merge：
在这里插入图片描述
28.运行作业generalization
单击作业工作区顶部的按钮，运行作业generalization，实现将文本文件personnel_data.txt中字段为household_register的数据统一成省份（直辖市），并输出到文本文件personnel_data_new.txt中：

二.对文本文件personnel_data_new.txt中字段为salary的数据进行商务规则计算，即计算每个人的月薪（以22天工作日计算），最终输出到文本文件personnel_data_monthly_salary.txt中。
1.打开Kettle工具，新建转换
在这里插入图片描述
2.配置文本文件输入控件
（1）双击“文本文件输入”控件，进入“文本文件输入”界面，单击"浏览"按钮，选择要抽取的personnel_data_new.txt文件；单击"增加"按钮，将要抽取的personnel_data_new.txt文件添加到转换monthly_salary中：
（2）单击“内容”选项卡，在分隔符处清除默认分隔符“；”，单击“Insert TAB”按钮，在分隔符处插入一个制表符：
在这里插入图片描述
（3）单击“字段”选项卡，根据personnel_data_new.txt文件的内容添加对应的字段名称，并指定数据类型：

3.配置增加常量控件
双击“增加常量”控件，进入“增加常量”界面，在字段框中添加一个字段days，并给定一个值22：
在这里插入图片描述
4.配置计算器控件
双击“计算器”控件，进入“计算器”界面，在字段框中添加一个字段monthly_salary，用于存储月薪，该字段是由字段days和salary进行相乘所得：

5.配置文本文件输出控件
（1）双击“文本文件输出”控件，进入“文本文件输出”界面，单击“文件名称”右侧的【浏览】按钮，选择输出文件，即文本文件personnel_data_monthly_salary；
在这里插入图片描述

（2）单击“内容”选项卡，进入“内容”界面，清除分隔符处的默认分隔符，单击“插入Tab”按钮，插入Tab分隔符，并在编码处的下拉框选择“UTF-8”编码；
在这里插入图片描述
（3）单击“字段”选项卡，进入“字段”界面，添加要输出的字段：

6.运行转换monthly_salary
如下图所示，运行成功：