《数据清洗》第六章 数据转换

 一、数据粒度的转换

1、数据准备

将这个txt文件

2、打开kettle工具，创建转换 3、配置“文本文件输入”控件

进入“文本文件输入”界面，单击“浏览”按钮，选择要抽取的personnel_data.txt文件，单击“增加”按钮，将要抽取的personnel_data.txt文件添加到generalization转换中

单击“内容”选项卡，在分隔符处清除默认分隔符“；”，单击“Insert TAB”按钮，在分隔符处插入一个制表符；取消勾选“头部”复选框

 单击“字段”选项卡，根据personnel_data.txt文件的内容添加对应的字段名称，并指定数据类型 

单击“确定”完成配置

4、配置“字段选择”控件 

进入“选择/改名值”界面，在“选择和修改”选项卡处添加字段名称

点击“确定”完成配置

5、配置“排序记录”控件

进入“排序记录”界面，并在“字段”框中添加字段household_register，对于进行排序

单击“确定”完成配置

 6、配置“表输入”控件

进入“表输入”界面，单击“新建”按钮，配置数据库连接，配置好后单击“确认”（city数据表需要提前创建好），用于与personnel_data.txt文件中household_register字段进行合并连接

 单击“确定”按钮，完成“表输入”控件的配置

7、配置“排序记录2”控件

进入“排序记录”界面，在“字段”框中添加字段city，并对其进行排序

单击“确定”按钮完成配置

8、配制“记录集连接”控件

 进入“合并排序”界面，在“第一个步骤”后的下拉列表中选择“排序记录”控件，在“第二个步骤”后下拉列表中选择“排序记录2”控件，在“第一个步骤的连接字段”和“第二个步骤的连接字段”处分别添加连接字段，这里添加的连接字段分别是household_register和city，将“排序记录”控件流中的数据“排序记录2”控件流中的数据进行合并连接，在“连接类型”后的下拉列表中选择烈性，这里选择的是LEFT OUTER，即左外连接

点击“确定”按钮完成配置

9、配置“字段选择2”控件

进入“选择/改名值”界面，在“选择和修改”选项卡的“字段”处手动添加所需字段，这里添加字段household_register、pid

 点击“确定”按钮完成配置

10、配置“排序记录3”控件 

进入“排序记录”界面，在“字段”框中添加字段pid，以该字段为基础对整体数据升序排序

 点击“确定”按钮完成配置

11、配置表输入 2控件

进入“表输入 2”控件，配置数据库连接，配置完成后单击“确认”按钮，MySQL数据库连接的配置

 在SQL框中编写SQL语句，用于查询数据表prov