kettle 数据流合并，新增方法

网上参考了大量方法，有的不知所云，有的版本较低已不再合适，最近的项目中用到了这个经过一天多实验思考终于解决了，在此分享出来

1，首先表输入里添加两个数据库，我这儿是mysql和hive的数据库连接

然后添加合并记录，里面这么配置

这儿要注意，标致字段可以用默认，等会要用到

2，添加过滤记录

其中一定要配置上面的标准字段

然后数据数据流就可以了

这儿为什么要这么过滤呢，原因是我再debug时发现的

合并标识这儿会将重复的直接标识为deleted，我就想能否用过滤来过滤掉数据，最后成功了

但我第二天测试时发现有问题，数据新的还是deleted标识，然后我找到了这个

而且在输出hadoop时一定要按下最小宽度，不然在重复取hive的数据时会出现匹配问题

所以现在不用再过滤记录了……

附上整个流程图