kettle （5.2 不完全去重）

一、创建转换

 

 二、配置控件

1、文本文件输入

单击“浏览”按钮，选择要去重的文件，并点击“增加”

单击“内容”；清除分隔符处的默认分隔符“；”，并点击“Insert TAB”按钮，在分隔符处插入一个制表符；取消勾选“头部”复选框。

单击“字段”选项卡；根据文件people.txt的内容添加对应的字段名称，并指定数据类型。 

单击“预览记录”按钮，查看文件people.txt的数据是否成功抽取到文本文件输入流中。 

2、唯一行（哈希值）

在“用来比较的字段”处，添加要比较去重的字段，即Name、UserLevel、Phone字段。 

 

三、执行结果