一、对文件merge.csv进行完全去重
1.新建一个转换,并添加“csv文件输入”控件和“唯一行(哈希值)控件”
2.配置“CSV文件输入”控件
选择需要完全去重的CSV文件merge.csv
点击"获取字段”,并预览数据是否加载到CSV文件输入流中
4.配置“唯一行(哈希值)”控件
在“用来比较的字段”处点击“获取”按钮“”添加要去重的字段
5.运行转换
点击“preview data”查看是否消除CSV文件中完全重复的数据
二、对文件people_survey.txt中的缺失值进行填充
1.新建一个转换,并添加“文本文件输入”、“过滤记录”、“空操作(什么也不做)”、“替换NULL”、“合并记录”、“字段选择”控件
2.配置“文本文件输入”控件
选择要处理的文件
切换到“内容”选项卡,点击“insert TAB”按钮,取消勾选“头部”的框
切换到“字段”选项卡,添加对应的字段名称,并指定数据类型,然后选择“不去掉空格”
3.配置“过滤记录”控件
4.配置“替换NULL”控件
5.配置“合并记录”控件
6.配置“替换NULL值2”字段
7.配置“字段选择”控件,进入“移除”选项卡,添加要移除的字段名
8.启动运行