数据清洗 第六章

一、对文本文件进行数据粒度转换，即将文本文件personnel_data.txt中字段中household_register的数据统一成省份，并且输出到文本文档personnel_data_new.txt中。

     1.打开Kettle工具，新建转换使用Kettle工具，创建一个转换generalization,添加文本文件输入控件、表输入控件、字段选择控件、排序记录控件、记录集连接控件、表输出控件以及Hop跳连接线。

      2.配置文本文件输入控件，双击“文本文件输入”控件，进入“文本文件输入”界面，单击【浏览】按钮，选择要抽取personnel_data.txt文件；单击【增加】按钮，将要抽取的personnel_data.txt文件添加到generalization转换中。

     3. 单击“内容”选项卡，在分隔符处清除默认分隔符“；”，然后单击【Insert TAB】按钮，在分隔符处插入一个制表符；取消勾选“头部”复选框。

     4.配置字段选择控件，双击“字段选择”控件，进入“选择/改名值”界面，在“选择和修改”选项卡处添加字段名称，单击”确认“按钮完成配置。

 

     5.配置排序记录控件，双击“排序记录”控件，进入“排序记录”界面，并在“字段”框中添加字段household_register，对其进行排序，单击【确定】按钮，完成“排序记录”控件的配置。

 

      6.配置表输入控件，双击“表输入”控件，进入“表输入”界面，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮

 

      7.配置记录集连接控件。双击“记录集连接”控件，进入“合并排序”界面，在“第一个步骤”处的下拉框中选择“排序记录”，“