前(fei)言(hua)
在填充数据的时候,如果是测试数据,我们会经常发现有重复数据,这时候我们可以在表输入中,使用 distinct 语句去重,但是如果几行重复数据中,有一些诸如创建时间、更新时间等无关字段不同时,语句去重就达不到目的,这时候,我们就可以用PDI提供的去除重复记录步骤来实现,它的方便不在于能去除重复行数据,甚至可以去重指定字段,你只需在需要去重的步骤后添加即可。
- 搜索步骤去除重复记录,拖放到表输入和记录集连接间,当连接线变粗时,如下,系统会提示:
- 拆分节点后,双击步骤编辑,添加要对比的字段:
- 点击确定,会提示:
- 在表输入SQL语句中根据字段排序,这里需要先排序id,否则关联时无法按序关联:
- 完成连接后的转换如图所示:
最后点击运行,成功转换。kettle 还提供了许多实用的功能,大家可以按实际情况取用,现在让我们进入下一章,收尾工作。