今天写了一个flume的配置文件采集日志文件(json格式),将日志文件采集到kafka,结果在kafkatools工具中发现采集的每一条数据前面都多出了两个字节的乱码,显然后面的操作都是以json格式进行处理,数据被阻塞在kafka中。
后来进行了反复检查,发现问题还是出现在flume配置文件中。。。。。。。。。。。。

在这里配置是否以event格式写入kafka时,多加了kafka,flume读取数据时还是以默认设置以event格式读入数据,结果event中的header信息保存到kafka后变成了乱码,后续操作以json格式为基础都会报错。

1381

被折叠的 条评论
为什么被折叠?



