2021-10-14

1.对文件merge.csv进行完全去重
打开Kettle工具创建转换，并添加“CSV文件输入“控件、”唯一行（哈希值）“控件以及Hop跳连接线。

配置“CSV文件输入”控件，进入“CSV文件输入”界面，双击“CSV文件输入”控件，进入“CSV文件输入”界面，单击“浏览”按钮，选择要进行完全去重处理的CSV文件merge.csv，单击“获取字段”按钮Kettle会自动检索CSV文件，并对文件中的字型、格式、长度精度等属性进行分析。

单击"预览”按钮，查看CSV文件merge. csv的数据是否加载到CSV文件输入流中

配置“唯一行(哈希值)”控件，双击“唯一行(哈希值)”控件，进入“唯一行(哈希值)”界面 在“用来比较的字段"处添加要去重的字段,这里可以单击“获取”按钮，添加需要去重的字段。

单击转换工作区顶部的“运行”按钮，运行创建的转换repeat_transform，实现消除CSV文件merge.csv中完全重复的数据。

2.对文件people_survey.txt中的缺失值进行填充
使用Kettle工具创建转换, 并添加“文本文件输人”控件、“过滤记录”控件。“空操作(什么也不做)”控件、“替换NULL值"控件、“合并记录”控件、“字段选择"控并以及Hop跳连接线。

双击“文本文件输人”控件，进入“文本文件输人”界面，单击“浏览"按钮，选择要填充缺失值的文件people_survey.txt，单击“增加”按钮，将要填充缺失值的文件people_ survey. txt添加到“文本文件输人”控件中

单击“内容"选项卡，切换到“内容”选项卡界面，清除分隔符处的默认分隔符“；”，单击Insert TAB按钮，在分隔符处插人一个制表符：取消勾选“头部”复选框，若不取消，则在进行数据抽取操作时会排除文件第一行的数据

单击“字段”选项卡，切换到“字段”选项卡界面，根据文件people_survey.txt的内容添加对应的字段名称，并指定数据类型。需要注意的是,制表符可看作是由多个空格组成,因此在“去除空字符串方式”列时，所添加的字段都应选择“不去掉空格”，否则在抽取数据操作时会把制表符当作空格去除，而不能把制表符作为分隔符实现文本文件内容的分隔

单击“预览记录”按钮，查看文件people_ survey. txt的数据是否成功抽取到文本文件输人流中

配置过滤记录控件。

配置替换NULL值控件。

配置合并记录控件。

配置替换NULL值2控件。

配置字段选择控件。

运行转换。