Flume采集rsync同步文件,有重复数据,解决方案

最近线上做测试,因为有服务布在公网云,kafka和hadoop集群布在私有云.所以想采用flume->kafka->flume->hadoop方案,将公有云的服务日志收集到hadoop集群.
因为公有云上服务布的节点节点比较多,所以采用rsync方式,将所有应用日志采集到一台服务器上.再用flume做采集.
开始flume使用agent.sources.s1.type = TAILDIR的方式,将日志发送过去以后,发现日志有重复数据.
排查以后发现,rsync用了 -avz 参数, 网上查找以后发现,rsync -avz并不是纯文件末尾追加内容的形式.
所以flume在taildir采集的时候，每次rsync，都会导致agent.sources.s1.positionFile = file_position.json 重置，把rsync同步后的文件全部内容，重新采集一遍.
不过rsync 可以使用-auvz --append参数，这种是文件末尾追加，那么flume会正常采集！（前提是rsync同步前的文件本身内容，就是末尾追加的形式，且前面内容不改动）.
参考: flume采集rsync文件