第六章数据清洗

（1）打开Kettle工具，新建转换

使用Kettle工具，创建一个转换generalization，并添加文本文件输入控件、表输入控件、字段选择控件、排序记录控件、记录集连接控件、表输出控件以及Hop跳连接线，具体效果如图1所示。

2）配置文本文件输入控件

双击图6-1中的“文本文件输入”控件，进入“文本文件输入”界面，单击【浏览】按钮，选择要抽取personnel_data.txt文件；单击【增加】按钮，将要抽取的personnel_data.txt文件添加到generalization转换中。

 

（3）配置字段选择控件

双击图6-1中的“字段选择”控件，进入“选择/改名值”界面，在“选择和修改”选项卡处添加字段名称，具体如图6-5所示。

 

（4）配置排序记录控件

双击图6-1中的“排序记录”控件，进入“排序记录”界面，并在“字段”框中添加字段household_register，对其进行排序，具体如图6-6所示。

 

（5）配置表输入控件

双击图6-1中的“表输入”控件，进入“表输入”界面，如图6-7所示。

 

（6）配置排序记录2控件

双击图6-1中的“排序记录 2”控件，进入“排序记录”界面，在“字段”框中添加字段city，并对其进行排序，具体如图6-10所示。

 

（7）配置记录集连接控件

双击图6-1中的“记录集连接”控件，进入“合并排序”界面，在“第一个步骤”处的下拉框中选择“排序记录”，“第二个步骤”处的下拉框中选择“排序记录2”；在“第一个步骤的连接字段”和“第二个步骤的连接字段”处添加连接字段，这里添加的连接字段是household_register和city；在“连接类型”处的下拉框选择连接类型，这里选择的LEFT OUTER，即左外连接，具体如图6-11所示。

 

（8）配置字段选择2控件

双击图6-1中的“字段选择2”控件，进入“选择/改名值”界面，在“选择和修改”选项卡处添加字段名称，这里添加的是记录集连接流中的字段household_register和pid，具体如图6-12所示。

 

9）配置排序记录3控件

双击图6-1中的“排序记录 3”控件，进入“排序记录”界面，在“字段”框中添加字段pid，并对其进行排序，具体如图6-13所示。

（10）配置表输入2控件

双击图6-1中的“表输入2”控件，进入“表输入2”界面，如图6-14所示。

 

（11）配置排序记录4控件

双击图6-1中的“排序记录 4”控件，进入“排序记录”界面，在“字段”框中添加字段pid，并对其进行排序，具体如图6-17所示。

 

（12）配置记录集连接2控件

双击图6-1中的“记录集连接2”控件，进入“合并排序”界面，在“第一个步骤”处的下拉框中选择“排序记录3”，“第二个步骤”处的下拉框中选择“排序记录4”；在“第一个步骤的连接字段”和“第二个步骤的连接字段”处添加连接字段，这里添加的连接字段是pid；在“连接类型”处的下拉框选择连接类型，这里选择的LEFT OUTER，即左外连接，具体如图6-18所示。

 

13）配置字段选择3控件

双击图6-1中的“字段选择3”控件，进入“选择/改名值”界面，在“选择和修改”选项卡处添加字段名称，这里添加的是记录集连接2流中的字段household_register和Provincial，具体如图6-19所示。

 

（14）配置表输出控件

双击图8-1中的“表输出”控件，进入“表输出”配置界面，如图6-20所示。

 

（15）打开Kettle工具，新建转换

使用Kettle工具，创建一个转换generalization_merge，并添加表输入控件、字段选择控件、排序记录控件、记录集连接控件、文本文件输出控件以及Hop跳连接线，具体效果如图6-25所示。

16）配置表输入控件

双击图6-25中的“表输入”控件，进入“表输入”界面，如图6-7所示。

 

 

（17）配置字段选择控件

双击图6-25中的“字段选择”控件，进入“选择/改名值”界面，在“选择和修改”选项卡处添加字段名称，具体如图6-29所示。

 

 

（18）配置排序记录控件

双击图6-25中的“排序记录”控件，进入“排序记录”界面，并在“字段”框中添加字段id，对其进行排序，具体如图6-30所示。

 

（19）配置文本文件输入控件

双击图6-25中的“文本文件输入”控件，进入“文本文件输入”界面，单击【浏览】按钮，选择要抽取personnel_data.txt文件；单击【增加】按钮，将要抽取的personnel_data.txt文件添加到generalization_merge转换中，如图6-31所示。

 

（20）配置字段选择2控件

双击图6-25中的“字段选择2”控件，进入“选择/改名值”界面，在“选择和修改”选项卡处添加字段名称，具体如图6-34所示。

 

（22）配置记录集连接控件

双击图6-25中的“记录集连接”控件，进入“合并排序”界面，在“第一个步骤”处的下拉框中选择“排序记录”，“第二个步骤”处的下拉框中选择“排序记录2”；在“第一个步骤的连接字段”和“第二个步骤的连接字段”处添加连接字段，这里添加的连接字段是id；在“连接类型”处的下拉框选择连接类型，这里选择的LEFT OUTER，即左外连接，具体如图6-36所示。

23）配置字段选择3控件

双击图6-25中的“字段选择3”控件，进入“字段选择”界面，在“选择和修改”选项卡处添加字段名称，并将字段household_register_new改为household_register，具体如图6-37所示。

 

（24）配置文本文件输出控件

双击图6-25中的“文本文件输出”控件，进入“文本文件输出”界面，单击“文件名称”右侧的【浏览】按钮，选择输出文件，即文本文件personnel_data_new，如图6-38所示；单击“内容”选项卡，进入“内容”界面，清除分隔符处的默认分隔符，单击【插入Tab】按钮，插入Tab分隔符。并在编码处的下拉框选择“UTF-8”编码，如图6-39所示；单击“字段”选项卡，进入“字段”界面，添加要输出的字段，如图6-40所示。

 

（25）打开Kettle工具，新建作业

使用Kettle工具，创建一个作业generalization，并添加Start控件、转换控件、成功控件以及Hop作业项连接线，具体效果如图6-41所示。