Kettle中的去除重复记录

1.选择一个输入源

这里使用的是Excle文件作为输入源，文件中数据如下

2.选择去除重复记录功能算子

转换 --> 去除重复记录，如下图

3.配置相关参数

上图红框中的”字段名”就是你想要去重的字段名，后面的”忽略大小写”这就就根据实际情况进行选择，这里我们先以”type”字段作为去重项
这个时候就会提示你，要先以去重字段进行排序，如下图：

所以在使用”去除重复记录”这个转换算子之前一定要对去重字段进行排序。

4.使用”排序记录”

在”转换模块中”有一个”排序记录”，这个就是我们用来排序的转换算子，如下图：

5.配置排序参数

因为我们去重字段选择的是”type”，所以我们的排序字段也要保持一致，如下图：

配置好之后我们点击确定就可以了，流程图如下：

6.结果测试

执行流程，通过preview data看一下处理后的数据，如下图

可以看到结果数据已经以”type”字段进行去重了。