5.1 数据去重 不完全去重

案例介绍：通过Kettle工具，将文件people.txt中不完全重复的数据进行去重处理。

现在有一份用户访问网站的数据文件person.txt，内容如图所示

 打开kettle，创建转换

 配置“文本文件输入”控件，单击【浏览】按钮，选择要去重的文件people.txt；单击【增加】按钮，将要去重的文件people.txt添加到转换中

单击“内容”选项卡；清除分隔符处的默认分隔符“；”，并单击【Insert TAB】按钮，在分隔符处插入一个制表符；取消勾选“头部”复选框。 

 单击“字段”选项卡；根据文件people.txt的内容添加对应的字段名称，并指定数据类型

 

预览一下，查看文件people.txt的数据是否成功抽取到文本文件输入流中。

配置“唯一行（哈希值）”控件

 

运行转换

 

至此，我们完成了数据的不完全去重