![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flume
a904364908
白了头.
展开
-
Flume采集rsync同步文件,有重复数据,解决方案
最近线上做测试,因为有服务布在公网云,kafka和hadoop集群布在私有云.所以想采用flume->kafka->flume->hadoop方案,将公有云的服务日志收集到hadoop集群. 因为公有云上服务布的节点节点比较多,所以采用rsync方式,将所有应用日志采集到一台服务器上.再用flume做采集. 开始flume使用agent.sources.s1.type = TAILDIR的方式,将日志发送过去以后,发现日志有重复数据. 排查以后发现,rsync用了 -avz 参数, 网上查原创 2021-01-21 12:35:55 · 923 阅读 · 0 评论 -
flume的ChannelExceptio以及memeryChannel中transactionCapacity和sink的batchsize需要注意事项
最近在做flume的日志收集,在用flume的时候发现一个报错. 14 Mar 2020 14:23:58,194 ERROR [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.AbstractRpcSink.process:384) - Rpc Sink k1: Unable to get event ...原创 2020-03-14 15:06:00 · 201 阅读 · 0 评论