一:完全去重
1.打开kettle工具,新建转换 -> 创建CSV文件输入控件 -> 1唯一行(哈希值)控件 -> 跳连接线
2.配置CSV文件输入控件 -> 进入CSV文件控制页面,如图所示
3.点击浏览 -> 选择完去重的文件merge.csv
4.点击获取字段,效果如图所示
5.点击预览,效果如图所示
6.点击确定按钮,完成CSV输入控件的配置
7.配置唯一行(哈希值)控件 -> 进入唯一行(哈希值)界面
一:完全去重
1.打开kettle工具,新建转换 -> 创建CSV文件输入控件 -> 1唯一行(哈希值)控件 -> 跳连接线
2.配置CSV文件输入控件 -> 进入CSV文件控制页面,如图所示
3.点击浏览 -> 选择完去重的文件merge.csv
4.点击获取字段,效果如图所示
5.点击预览,效果如图所示
6.点击确定按钮,完成CSV输入控件的配置
7.配置唯一行(哈希值)控件 -> 进入唯一行(哈希值)界面