第五章——数据清洗与校验（案例二：不完全去重）

1.数据预览

 2.打开kettle新建一个转换并添加下述步骤然后用跳连接 

 3.双击文本文件输入进行配置

单击浏览按钮，选择要去重的文件people.txt；单击【增加】按钮，将要去重的文件people.txt添加到转换中。

 单击“内容”选项卡；清除分隔符处的默认分隔符“；”，并单击Insert TAB按钮，在分隔符处插入一个制表符；取消勾选“头部”复选框。

 单击“字段”选项卡；根据文件people.txt的内容添加对应的字段名称，并指定数据类型

 

 单击【预览记录】按钮，查看文件people.txt的数据是否成功抽取到文本文件输入流中。

 

 4.配置唯一行（哈希值）控件

 5.保存运行，成功后截图如下

6.查看去重之后的数据

选中唯一行（哈希值）控件，单击执行结果窗口的Preview data选项卡