关于Flume异常情况导致的数据重复写入问题分析
环境
flume-ng 1.6.0-cdh5.15.1
问题描述
通过flume抽取kafka数据, 落地HDFS. source与channel不在本次问题分析范围内,暂且忽略. sink的部分配置如下:
tier1.sinks.sink1.type=hdfs
tier1.sinks.sink1.channel=channel1
tier1.sinks.sink1.hdfs.path=hdfs:...
原创
2019-05-29 16:32:18 ·
4077 阅读 ·
3 评论