第六章实操题

现有一个文本文件personnel_data.txt,包含字段id、name、id_number、household_register和salary,具体内容如下图6-0所示:

通过使用Kettle工具,实现以下功能:
(1)对文本文件personnel_data.txt中的数据进行数据粒度的转换,即将文本文件personnel_data.txt中字段为household_register的数据统一成省份,并输出到文本文件personnel_data_new.txt 中。

1.打开Kettle工具,新建转换

使用Kettle工具,创建一个转换generalization,并添加文本文件输入控件、表输入控件、字段选择控件、排序记录控件、记录集连接控件、表输出控件以及Hop跳连接线,具体效果如图6-1所示。

 

图6-1 创建转换generalization

2.配置文本文件输入控件

双击图6-1中的“文本文件输入”控件,进入“文本文件输入”界面,单击“浏览”按钮,选择要抽取personnel_data.txt文件;单击“增加”按钮,将要抽取的personnel_data.txt文件添加到generalization转换中, 如图6-2所示:

 图6-2 配置“文件”选项卡

在图6-1中,单击“内容”选项卡,在分隔符处清除默认分隔符“;”,单击“Insert TAB”按钮,在分隔符处插入一个制表符;取消勾选“头部”复选框。“内容”选项卡的配置具体效果如图6-3所示:

图6-3  “内容”选项卡

在图6-3中,单击“字段”选项卡,根据personnel_data.txt文件的内容添加对应的字段名称,并指定数据类型。“字段”选项卡的配置,如图6-4所示;在图6-4中,单击“确定”按钮,完成“文本文件输入”控件的配置。

图6-4 “字段”选项卡的配置 和预览记录

3.配置字段选择控件

双击图6-1中的“字段选择”控件,进入“选择/改名值”界面,在“选择和修改”选项卡处添加字段名称,具体如图6-5所示;在图6-5中,单击“确定”按钮,完成“字段选择”控件的配置。 

图6-5 添加字段

4.配置排序记录控件

双击图6-1中的“排序记录”控件,进入“排序记录”界面,并在“字段”框中添加字段household_register,对其进行排序,具体如图6-6所示;在图6-6中,单击“确定”按钮,完成“排序记录”控件的配置。

图6-6  配置“排序记录”控件

5.配置表输入控件

双击图6-1中的“表输入”控件,进入“表输入”界面,单击“新建”按钮,配置数据库连接,配置完成后单击“确认”按钮。MySQL数据库连接的配置,具体如图6-7所示:

 图6-7 MySQL数据库连接

在图中的SQL框中编写SQL语句,用于查询city数据表中字段city和pid的数据,用于与personnel_data.txt文件中household_register字段进行合并连接,之后单击“预览”,具体如图6-8所示;在图6-8中,单击“确定”按钮,完成“表输入”控件的配置。

 图6-8 编写SQL语句和预览记录

6.配置排序记录2控件

双击图6-1中的“排序记录 2”控件,进入“排序记录”界面,在“字段”框中添加字段city,并对其进行排序,具体如图6-9所示;在图6-9中,单击“确定”按钮,完成“排序记录2”控件的配置。

 

图6-9  配置“排序记录2”控件

7.配置记录集连接控件

双击图6-1中的“记录集连接”控件,进入“合并排序”界面,在“第一个步骤”处的下拉框中选择“排序记录”,“第二个步骤”处的下拉框中选择“排序记录2”;在“第一个步骤的连接字段”和“第二个步骤的连接字段”处添加连接字段,这里添加的连接字段是household_register和city;在“连接类型”处的下拉框选择连接类型,这里选择的LEFT OUTER,即左外连接,具体如图6-10所示;在图6-10中,单击“确定”按钮,完成记录集连接控件的配置。

图6-10 配置记录集连接控件

8.配置字段选择2控件

双击图6-1中的“字段选择2”控件,进入“选择/改名值”界面,在“选择和修改”选项卡处添加字段名称,这里添加的是记录集连接流中的字段id,household_register和pid,具体如图6-11所示;在图6-11中,单击“确定”按钮,完成“字段选择2”控件的配置。

图6-11  配置“字段选择2”控件

9.配置排序记录3控件

双击图6-1中的“排序记录 3”控件,进入“排序记录”界面,在“字段”框中添加字段pid,并对其进行排序,具体如图6-12所示;在图6-12中,单击“确定”按钮,完成排序记录3控件的配置。

图6-12  配置“排序记录 3”控件

10.配置表输入2控件

双击图6-1中的“表输入2”控件,进入“表输入2”界面,单击【新建】按钮,配置数据库连接,配置完成后单击“确认”按钮。MySQL数据库连接的配置,具体如图6-13所示:

 

 图6-13 配置MySQL数据库连接

在SQL框中编写SQL语句,用于查询provincial数据表中字段Provincial和pid的数据,用于与household_register字段进行合并连接,然后单击“预览”按钮,具体如图6-14所示;在图6-14中,单击“确定”按钮,完成“表输入2”控件的配置。

 图6-14  编写SQL语句和预览数据

11.配置排序记录4控件

双击图6-1中的“排序记录 4”控件,进入“排序记录”界面,在“字段”框中添加字段pid,并对其进行排序,具体如图6-15所示;在图6-15中,单击“确定”按钮,完成“排序记录4”控件的配置。

图6-15  配置“排序记录 4”控件

12.配置记录集连接2控件

双击图6-1中的“记录集连接2”控件,进入“合并排序”界面,在“第一个步骤”处的下拉框中选择“排序记录3”,“第二个步骤”处的下拉框中选择“排序记录4”;在“第一个步骤的连接字段”和“第二个步骤的连接字段”处添加连接字段,这里添加的连接字段是pid;在“连接类型”处的下拉框选择连接类型,这里选择的LEFT OUTER,即左外连接,具体如图6-16所示;在图6-16中,单击“确定”按钮,完成“记录集连接2”控件的配置。

 图6-16 配置“记录集连接2”控件

13.配置字段选择3控件

双击图6-1中的“字段选择3”控件,进入“选择/改名值”界面,在“选择和修改”选项卡处添加字段名称,这里添加的是记录集连接2流中的字段household_register和Provincial,具体如图6-17所示;在图6-17中,单击“确定”按钮,完成“字段选择3”控件的配置。

图6-17  配置“字段选择3”控件

14.配置表输出控件

双击图6-1中的“表输出”控件,进入“表输出”配置界面,单击“新建”按钮,配置数据库连接,配置完成后单击“确认”按钮。单击目标表右侧的“浏览”按钮,选择输出的目标表,即临时数据表personnel;勾选“指定数据库字段”的复选框;单击“输入字段映射”按钮,弹出“映射匹配”对话框,依次选中“源字段”选项框的字段和“目标字段”选项框的字段,再单击“Add”按钮,将一对映射字段添加至“映射”选项框中,若“源字段”选项框的字段和“目标字段”选项框的字段相同,则可以单击“猜一猜”按钮,让Kettle自动实现映射,具体如图6-18所示:

图6-18 设置映射匹配 

在图6-18中,单击映射匹配对话框的“确定”按钮,“表输出”界面最终显示的效果如图6-19所示,单击“确定”按钮,完成“表输出”控件的配置。

图6-19  配置“表输出”控件

15.打开Kettle工具,新建转换

使用Kettle工具,创建一个转换generalization_merge,并添加表输入控件、字段选择控件、排序记录控件、记录集连接控件、文本文件输出控件以及Hop跳连接线,具体效果如图6-20所示:

图6-20   创建转换generalization_merge

16.配置表输入控件

双击图6-20中的“表输入”控件,进入“表输入”界面,单击“新建”按钮,配置数据库连接,配置完成后单击“确认”按钮。MySQL数据库连接的配置,具体如图6-21所示:

图6-21  配置MySQL数据库连接

在图中的SQL框中编写SQL语句,用于查询数据表personnel中的数据,并单击“预览”按钮,如图6-22所示,单击“确定”按钮,完成“表输入”控件的配置。

 图6-22 编辑SQL语句和预览数据

17.配置字段选择控件

双击图6-20中的“字段选择”控件,进入“选择/改名值”界面,在“选择和修改”选项卡处添加字段名称,具体如图6-23所示,在图6-23中,单击“确定”按钮,完成“字段选择”控件的配置。

图6-23  配置“字段选择”控件

18.配置排序记录控件

双击图6-20中的“排序记录”控件,进入“排序记录”界面,并在“字段”框中添加字段id,对其进行排序,具体如图6-24所示;在图6-24中,单击“确定”按钮,完成“排序记录”控件的配置。

图6-24  配置“排序记录”控件

19.配置文本文件输入控件

双击图6-20中的“文本文件输入”控件,进入“文本文件输入”界面,单击“浏览”按钮,选择要抽取personnel_data.txt文件;单击“增加”按钮,将要抽取的personnel_data.txt文件添加到generalization_merge转换中,如图6-25所示:

图6-25 配置“文件”选项卡 

在图6-25中,单击“内容”选项卡,在分隔符处清除默认分隔符“;”,单击“Insert TAB”按钮,在分隔符处插入一个制表符;取消勾选“头部”复选框。“内容”选项卡的配置具体效果如图6-26所示:

图6-26 配置“内容”选项卡 

在图6-25中,单击“字段”选项卡,根据文本文件personnel_data.txt的内容添加对应的字段名称,并指定数据类型。“字段”选项卡的配置,如图6-27所示;在图6-27中,单击“确定”按钮,完成“文本文件输入”控件的配置。

图6-27 配置“字段”选项卡 

20.配置字段选择2控件

双击图6-20中的“字段选择2”控件,进入“选择/改名值”界面,在“选择和修改”选项卡处添加字段名称,具体如图6-28所示;在图6-28中,单击“确定”按钮,完成“字段选择”控件的配置。

图6-28  配置“字段选择”控件

21.配置排序记录2控件

双击图6-20中的“排序记录2”控件,进入“排序记录2”界面,并在“字段”框中添加字段id,对其进行排序,具体如图6-29所示;在图6-29中,单击“确定”按钮,完成“排序记录2”控件的配置。

图6-29  配置“排序记录2”控件

22.配置记录集连接控件

双击图6-20中的“记录集连接”控件,进入“合并排序”界面,在“第一个步骤”处的下拉框中选择“排序记录”,“第二个步骤”处的下拉框中选择“排序记录2”;在“第一个步骤的连接字段”和“第二个步骤的连接字段”处添加连接字段,这里添加的连接字段是id;在“连接类型”处的下拉框选择连接类型,这里选择的LEFT OUTER,即左外连接,具体如图6-30所示。在图6-30中,单击“确定”按钮,完成“记录集连接”控件的配置。

 6-30 配置“记录集连接”控件

23.配置字段选择3控件

双击图6-20中的“字段选择3”控件,进入“字段选择”界面,在“选择和修改”选项卡处添加字段名称,并将字段household_register_new改为household_register,具体如图6-31所示。在图6-31中,单击“确定”按钮,完成“字段选择3”控件的配置。

 图3-31 配置“字段选择3”控件

24.配置文本文件输出控件

双击图6-20中的“文本文件输出”控件,进入“文本文件输出”界面,单击“文件名称”右侧的“浏览”按钮,选择输出文件,即文本文件personnel_data_new,如图6-32所示;单击“内容”选项卡,进入“内容”界面,清除分隔符处的默认分隔符,单击“插入Tab”按钮,插入Tab分隔符。并在编码处的下拉框选择“UTF-8”编码,如图6-33所示;单击“字段”选项卡,进入“字段”界面,添加要输出的字段,如图6-34所示。在图6-34中,单击“确定”按钮,完成“文本文件输出”控件的配置。

图6-32 配置“内容”选项卡

 

图6-33 配置“内容”选项卡  

 图6-34 配置“字段”选项卡

25.打开Kettle工具,新建作业

使用Kettle工具,创建一个作业generalization,并添加Start控件、转换控件、成功控件以及Hop作业项连接线,具体效果如图6-35所示:

图6-35 创建作业generalization 

26.配置转换控件

双击图6-35中的“转换”控件,进入“转换”界面,单击“Transformations”处的“浏览”按钮,选择添加转换generalization,具体如图6-36所示;在图6-36中,单击“确定”按钮,完成“转换”控件的配置。

 图6-36 配置“转换”控件

27.配置转换2控件

双击图6-35中的“转换2”控件,进入“转换”界面,单击“Transformations”处的“浏览”按钮,选择添加转换generalization_merge,具体如图6-37所示,在图6-37,单击“确定”按钮,完成“转换2”控件的配置。

 图6-37 配置“转换2”控件

28.运行作业generalization

单击作业工作区顶部的按钮,运行作业generalization,实现将文本文件personnel_data.txt中字段为household_register的数据统一成省份(直辖市),并输出到文本文件personnel_data_new.txt中。运行作业generalization的效果如图6-38所示:

 图6-38 运行作业generalization

29.查看文本文件personnel_data_new.txt中的数据

通过文本编辑器工具,查看文本文件personnel_data_new.txt中的数据,查看结果如图6-39所示:

  图6-39 文本文件personnel_data_new.txt中的数据

(2)对文本文件personnel_data_new.txt中字段为salary的数据进行商务规则计算即计算每个人的月薪(以22天工作日计算),最终输出到文本文件personnel_data_monthly_salary.txt 中。

1.打开Kettle工具,新建转换

使用Kettle工具,创建一个转换monthly_salary,并添加文本文件输入控件、增加常量控件、计算器控件、文本文件输出控件以及Hop跳连接线,具体效果如图6-40所示:

图6-40  创建转换monthly_salary

2.配置文本文件输入控件

双击图6-40中的“文本文件输入”控件,进入“文本文件输入”界面,单击“浏览”按钮,选择要抽取personnel_data_new.txt文件;单击“增加”按钮,将要抽取的personnel_data_new.txt文件添加到转换monthly_salary中,如图6-41所示。单击“内容”选项卡,在分隔符处清除默认分隔符“;”,单击“Insert TAB”按钮,在分隔符处插入一个制表符。“内容”选项卡的配置具体效果如图6-42所示:

 

 图6-41 配置“文件”选项卡

图6-42 配置“内容”选项卡 

单击“字段”选项卡,根据personnel_data_new.txt文件的内容添加对应的字段名称,并指定数据类型。“字段”选项卡的配置,如图6-43所示,在图6-43中,单击“确定”按钮,完成“文本文件输入”控件的配置。

 

图6-43 配置“字段”选项卡和预览记录 

3.配置增加常量控件

双击图6-40中的“增加常量”控件,进入“增加常量”界面,在字段框中添加一个字段days,并给定一个值22。增加常量控件的配置,如图6-44所示,在图6-44中,单击“确定”按钮,完成“增加常量”控件的配置。

 图6-44 配置“增加常量”控件

4.配置计算器控件

双击图6-40中的“计算器”控件,进入“计算器”界面,在字段框中添加一个字段monthly_salary,用于存储月薪,该字段是由字段days和salary进行相乘所得。计算器控件的配置,如图6-45所示,在图6-45中,单击“确定”按钮,完成“计算器”控件的配置。

图6-45 配置 “计算器”控件

5.配置文本文件输出控件 

双击图6-40中的“文本文件输出”控件,进入“文本文件输出”界面,单击“文件名称”右侧的“浏览”按钮,选择输出文件,即文本文件personnel_data_monthly_salary,如图6-46所示;单击“内容”选项卡,进入“内容”界面,清除分隔符处的默认分隔符,单击“插入Tab”按钮,插入Tab分隔符,并在编码处的下拉框选择“UTF-8”编码,如图6-47所示;单击“字段”选项卡,进入“字段”界面,添加要输出的字段,如图6-48所示,在图6-48中,单击“确定”按钮,完成“文本文件输出”控件的配置。

 图6-46 配置“文件”选项卡

 图6-47 配置“内容”选项卡

图6-48 配置“字段”选项卡 

6.运行转换monthly_salary

单击转换工作区顶部 按钮,运行转换monthly_salary,实现将文本文件personnel_data_new.txt中字段为salary的数据进行商务规则计算,即计算每个人的月薪(以22天工作日计算),最终输出到文本文件personnel_data_monthly_salary.txt中。具体如图6-49所示:

 图6-49 运行转换monthly_salary

7.查看文本文件personnel_data_monthly_salary.txt中的数据

通过文本编辑器工具,查看文本文件personnel_data_monthly_salary.txt中的数据,查看结果如图6-50所示:

 图6-50 文本文件personnel_data_monthly_salary.txt中的数据
 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值