5.1 数据去重

5.1.1完全去重

1.创建转换

2.配置csv文件输入控件

可以预览一下，文件是否加载到流中

 3.配置唯一行控件

单击获取按钮

 4.运行转换

5.查看数据 

 

5.1.2 不完全去重

1.创建转换

2.配置文本文件输入控件

 先在文件选项卡中，配置好如下内容

然后在内容选项卡中配置如下内容

 注意，分隔符为一个tab

最后在字段选项卡中配置如下内容

 

 单击获取字段按钮

3.配置唯一行控件

 4.运行转换

 5.查看文件情况