数据转换-操作题

现有一个文本文件personnel_data.txt，包含字段id、name、id_number、household_register和salary，具体内容如下所示：

        

1.对文本文件personnel_data.txt中的数据进行数据粒度的转换，即将文本文件personnel_data.txt中字段为household_register的数据统一成省份，并输出到文本文件personnel_data_new.txt中。

（1）打开Kettle工具，新建转换

     使用Kettle工具，创建一个转换personal，并添加文本文件输入控件、表输入控件、字段选择控件、排序记录控件、记录集连接控件、表输出控件以及Hop跳连接线，具体效果如图1所示。

                                                                    图1 

（2）配置文本文件输入控件

    双击图1中的“文本文件输入”控件，进入“文本文件输入”界面，单击【浏览】按钮，选择要抽取personnel_data.txt文件；单击【增加】按钮，将要抽取的personnel_data.txt文件添加到personal转换中，如图2所示。

                                                                       图2 

    单击“内容”选项卡，在分隔符处清除默认分隔符“；”，单击【Insert TAB】按钮，在分隔符处插入一个制表符；取消勾选“头部”复选框。“内容”选项卡的配置具体效果如图3所示。

                                                                       图3 

    在图3中，单击“字段”选项卡，根据personnel_data.txt文件的内容添加对应的字段名称，并指定数据类型。“字段”选项卡的配置，如图4所示。在图4中，单击【确定】按钮，完成“文本文件输入”控件的配置。

                                                                    图4 

（3）配置字段选择控件

    双击图1中的“字段选择”控件，进入“选择/改名值”界面，在“选择和修改”选项卡处添加字段名称，具体如图5所示。在图5中，单击【确定】按钮，完成“字段选择”控件的配置。

图5

（4）配置排序记录控件

   双击图1中的“排序记录”控件，进入“排序记录”界面，并在“字段”框中添加字段household_register，对其进行排序，具体如图6所示。在图6中，单击【确定】按钮，完成“排序记录”控件的配置。

                                                                         图6 

（5）配置表输入控件

    双击图1中的“表输入”控件，进入“表输入”界面，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。MySQL数据库连接的配置，具体如图7所示。

                                                                     图7 

    在表输入中的SQL框中编写SQL语句，用于查询city数据表中字段city和pid的数据，用于与personnel_data.txt文件中household_register字段进行合并连接，具体如图8所示。在图8中，单击【确定】按钮，完成“表输入”控件的配置。

                                                                图8 

（6）配置排序记录2控件

    双击图1中的“排序记录 2”控件，进入“排序记录”界面，在“字段”框中添加字段city，并对其进行排序，具体如图9所示。在图9中，单击【确定】按钮，完成“排序记录2”控件的配置。

                                                                   图9 

（7）配置记录集连接控件

    双击图1中的“记录集连接”控件，进入“合并排序”界面，在“第一个步骤”处的下拉框中选择“排序记录”，“第二个步骤”处的下拉框中选择“排序记录2”；在“第一个步骤的连接字段”和“第二个步骤的连接字段”处添加连接字段，这里添加的连接字段是household_register和city；在“连接类型”处的下拉框选择连接类型，这里选择的LEFT OUTER，即左外连接，具体如图10所示。在图10中，单击【确定】按钮，完成记录集连接控件的配置。

图10

（8）配置字段选择2控件

   双击图1中的“字段选择2”控件，进入“选择/改名值”界面，在“选择和修改”选项卡处添加字段名称，这里添加的是记录集连接流中的字段household_register和pid，具体如图11所示。在图11中，单击【确定】按钮，完成“字段选择2”控件的配置。

                                                                图11 

（9）配置排序记录3控件

   双击图1中的“排序记录 3”控件，进入“排序记录”界面，在“字段”框中添加字段pid，并对其进行排序，具体如图12所示。在图12中，单击【确定】按钮，完成排序记录3控件的配置。

                                                                      图12 

（10）配置表输入2控件

    双击图1中的“表输入2”控件，进入“表输入2”界面，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。MySQL数据库连接的配置，具体如图13所示。

                                                                    图13 

    在表输入2中的SQL框中编写SQL语句，用于查询provincial数据表中字段Provincial和pid的数据，用于与household_register字段进行合并连接，具体如图14所示。在图14中，单击【确定】按钮，完成“表输入2”控件的配置。

                                                                  图14 

（11）配置排序记录4控件

    双击图1中的“排序记录 4”控件，进入“排序记录”界面，在“字段”框中添加字段pid，并对其进行排序，具体如图15所示。在图15中，单击【确定】按钮，完成“排序记录4”控件的配置。

                                                                      图15 

（12）配置记录集连接2控件

    双击图1中的“记录集连接2”控件，进入“合并排序”界面，在“第一个步骤”处的下拉框中选择“排序记录3”，“第二个步骤”处的下拉框中选择“排序记录4”；在“第一个步骤的连接字段”和“第二个步骤的连接字段”处添加连接字段，这里添加的连接字段是pid；在“连接类型”处的下拉框选择连接类型，这里选择的LEFT OUTER，即左外连接，具体如图16所示。在图16中，单击【确定】按钮，完成“记录集连接2”控件的配置。

                                                                  图16 

（13）配置字段选择3控件

    双击图1中的“字段选择3”控件，进入“选择/改名值”界面，在“选择和修改”选项卡处添加字段名称，这里添加的是记录集连接2流中的字段household_register和Provincial，具体如图17所示。在图17中，单击【确定】按钮，完成“字段选择3”控件的配置。

                                                                     图17 

（14）配置表输出控件

    双击图1中的“表输出”控件，进入“表输出”配置界面，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。MySQL数据库连接的配置，具体如图18所示。

                                                                       图18 

   在表输出中，单击目标表右侧的【浏览】按钮，选择输出的目标表，即临时数据表personnel；勾选“指定数据库字段”的复选框，单击【输入字段映射】按钮，弹出“映射匹配”对话框，依次选中“源字段”选项框的字段和“目标字段”选项框的字段，再单击【Add】按钮，将一对映射字段添加至“映射”选项框中，若“源字段”选项框的字段和“目标字段”选项框的字段相同，则可以单击【猜一猜】按钮，让Kettle自动实现映射，最后单击映射匹配对话框的【确定】按钮，“表输出”界面最终显示的效果如图19所示，单击【确定】按钮，完成“表输出”控件的配置。

                                                                    图19 

（15）打开Kettle工具，新建转换

    使用Kettle工具，创建一个转换generalization_merge，并添加表输入控件、字段选择控件、排序记录控件、记录集连接控件、文本文件输出控件以及Hop跳连接线，具体效果如图20所示。

                                                                          图20 

（16）配置表输入控件

    双击图20中的“表输入”控件，进入“表输入”界面，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。MySQL数据库连接的配置，具体如图21所示。

                                                                           图21 

   在表输入中的SQL框中编写SQL语句，用于查询数据表personnel中的数据，具体如图6-28所示。在图22中，单击【确定】按钮，完成“表输入”控件的配置。

                                                                          图22 

（17）配置字段选择控件

    双击图20中的“字段选择”控件，进入“选择/改名值”界面，在“选择和修改”选项卡处添加字段名称，具体如图23所示。在图23中，单击【确定】按钮，完成“字段选择”控件的配置。

                                                                     图23 

（18）配置排序记录控件

   双击图20中的“排序记录”控件，进入“排序记录”界面，并在“字段”框中添加字段id，对其进行排序，具体如图24所示。在图24中，单击【确定】按钮，完成“排序记录”控件的配置。

                                                                  图24 

（19）配置文本文件输入控件

    双击图20中的“文本文件输入”控件，进入“文本文件输入”界面，单击【浏览】按钮，选择要抽取personnel_data.txt文件；单击【增加】按钮，将要抽取的personnel_data.txt文件添加到generalization_merge转换中，如图25所示。

                                                                      图25 

   在文本文件输入中，单击“内容”选项卡，在分隔符处清除默认分隔符“；”，单击【Insert TAB】按钮，在分隔符处插入一个制表符；取消勾选“头部”复选框。单击“字段”选项卡，根据文本文件personnel_data.txt的内容添加对应的字段名称，并指定数据类型。“字段”选项卡的配置，如图26所示。在图26中，单击【确定】按钮，完成“文本文件输入”控件的配置。

 

                                                                  图26 

（20）配置字段选择2控件

    双击图20中的“字段选择2”控件，进入“选择/改名值”界面，在“选择和修改”选项卡处添加字段名称，具体如图27所示。在图27中，单击【确定】按钮，完成“字段选择”控件的配置。

                                                                       图27 

（21）配置排序记录2控件

    双击图20中的“排序记录”控件，进入“排序记录”界面，并在“字段”框中添加字段id，对其进行排序，具体如图28所示。在图28中，单击【确定】按钮，完成“排序记录2”控件的配置。

                                                                 图28 

（22）配置记录集连接控件

    双击图20中的“记录集连接”控件，进入“合并排序”界面，在“第一个步骤”处的下拉框中选择“排序记录”，“第二个步骤”处的下拉框中选择“排序记录2”；在“第一个步骤的连接字段”和“第二个步骤的连接字段”处添加连接字段，这里添加的连接字段是id；在“连接类型”处的下拉框选择连接类型，这里选择的LEFT OUTER，即左外连接，具体如图29所示。在图29中，单击【确定】按钮，完成“记录集连接”控件的配置。

                                                                          图29 

（23）配置字段选择3控件

     双击图20中的“字段选择3”控件，进入“字段选择”界面，在“选择和修改”选项卡处添加字段名称，并将字段household_register_new改为household_register，具体如图30所示。在图30中，单击【确定】按钮，完成“字段选择3”控件的配置。

                                                                   图30 

（24）配置文本文件输出控件

     双击图20中的“文本文件输出”控件，进入“文本文件输出”界面，单击“文件名称”右侧的【浏览】按钮，选择输出文件，即文本文件personnel_data_new，单击“内容”选项卡，进入“内容”界面，清除分隔符处的默认分隔符，单击【插入Tab】按钮，插入Tab分隔符。并在编码处的下拉框选择“UTF-8”编码，单击“字段”选项卡，进入“字段”界面，添加要输出的字段，如图31和32所示。在图31中，单击【确定】按钮，完成“文本文件输出”控件的配置。

                                                                         图31 

 

                                                                      图32

（25）打开Kettle工具，新建作业

    使用Kettle工具，创建一个作业personal，并添加Start控件、转换控件、成功控件以及Hop作业项连接线，具体效果如图33所示。

                                                                        图33

（26）配置转换控件

   双击图33中的“转换”控件，进入“转换”界面，单击“Transformations”处的【浏览】按钮，选择添加转换personal，具体如图34所示。在图34中，单击【确定】按钮，完成“转换”控件的配置。

                                                                      图34

（27）配置转换2控件

    双击图33中的“转换2”控件，进入“转换”界面，单击“Transformations”处的【浏览】按钮，选择添加转换generalization_merge，具体如图35所示。在图35中，单击【确定】按钮，完成“转换2”控件的配置。

                                                                  图35 

（28）运行作业generalization

    单击作业工作区顶部的按钮，运行作业personal，实现将文本文件personnel_data.txt中字段为household_register的数据统一成省份，并输出到文本文件personnel_data_new.txt中。运行作业generalization的效果如图36所示。从图36中的执行结果来看，即每个控件的右上角均有“√”，则说明作业generalization执行成功。

  图36 

（29）查看文本文件personnel_data_new.txt中的数据

     通过文本编辑器工具，查看文本文件personnel_data_new.txt中的数据，查看结果如图37所示。从图37可以看出，文本文件personnel_data_new.txt中字段为household_register的数据均统一成省份。

 

                                                                           图37 

2.对文本文件personnel_data_new.txt中字段为salary的数据进行商务规则计算，即计算每个人的月薪（以22天工作日计算），最终输出到文本文件personnel_data_monthly_salary.txt中。

（1）打开Kettle工具，新建转换

    使用Kettle工具，创建一个转换monthly_salary，并添加文本文件输入控件、增加常量控件、计算器控件、文本文件输出控件以及Hop跳连接线，具体效果如图38所示。

                                                                 图38 

（2）配置文本文件输入控件

    双击图38中的“文本文件输入”控件，进入“文本文件输入”界面，单击【浏览】按钮，选择要抽取personnel_data_new.txt文件；单击【增加】按钮，将要抽取的personnel_data_new.txt文件添加到转换monthly_salary中，如图39所示。

                                                                    图39 

   在文本文件输入中，单击“内容”选项卡，在分隔符处清除默认分隔符“；”，单击【Insert TAB】按钮，在分隔符处插入一个制表符。单击“字段”选项卡，根据personnel_data_new.txt文件的内容添加对应的字段名称，并指定数据类型。“字段”选项卡的配置，如图40所示。在图40中，单击【确定】按钮，完成“文本文件输入”控件的配置。

                                                                   图40 

（3）配置增加常量控件

    双击图38中的“增加常量”控件，进入“增加常量”界面，在字段框中添加一个字段days，并给定一个值22。增加常量控件的配置，如图41所示。在图41中，单击【确定】按钮，完成“增加常量”控件的配置。

                                                                  图41 

（4）配置计算器控件

    双击图33中的“计算器”控件，进入“计算器”界面，在字段框中添加一个字段monthly_salary，用于存储月薪，该字段是由字段days和salary进行相乘所得。计算器控件的配置，如图42所示。在图42中，单击【确定】按钮，完成“计算器”控件的配置。

                                                                    图42 

（5）配置文本文件输出控件

    双击图33中的“文本文件输出”控件，进入“文本文件输出”界面，单击“文件名称”右侧的【浏览】按钮，选择输出文件，即文本文件personnel_data_monthly_salary，如图43所示；单击“内容”选项卡，进入“内容”界面，清除分隔符处的默认分隔符，单击【插入Tab】按钮，插入Tab分隔符，并在编码处的下拉框选择“UTF-8”编码，如图44所示；单击“字段”选项卡，进入“字段”界面，添加要输出的字段，如图45所示。在图45中，单击【确定】按钮，完成“文本文件输出”控件的配置。

                                                                      图43 

                                                                  图44 

                                                               图45 

（6）运行转换monthly_salary

   单击转换工作区顶部的按钮，运行转换monthly_salary，实现将文本文件personnel_data_new.txt中字段为salary的数据进行商务规则计算，即计算每个人的月薪（以22天工作日计算），最终输出到文本文件personnel_data_monthly_salary.txt中。

（7）查看文本文件personnel_data_monthly_salary.txt中的数据

    通过文本编辑器工具，查看文本文件personnel_data_monthly_salary.txt中的数据，查看结果如图46所示。从图46可以看出，文本文件personnel_data_monthly_salary.txt中字段为monthly_salary存储着月薪。

                                                                图46