自己修改source源码
写一个自定义的source,继承 AbstractSource 、实现 EventDrivenSource,Configurable接口;这种方案还不错,可以达到目的,但存在两个不便之处:一是自己造轮子需要开发、维护成本,二是如果团队水平不足可能导致后续各种bug。
原文链接:关于Flume断点续传(防止重复消费)的解决方案_flume sink fink 重复消费_深寒色的猫丶的博客-CSDN博客
自己修改source源码
写一个自定义的source,继承 AbstractSource 、实现 EventDrivenSource,Configurable接口;这种方案还不错,可以达到目的,但存在两个不便之处:一是自己造轮子需要开发、维护成本,二是如果团队水平不足可能导致后续各种bug。
原文链接:关于Flume断点续传(防止重复消费)的解决方案_flume sink fink 重复消费_深寒色的猫丶的博客-CSDN博客