![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flume
worldchinalee
这个作者很懒,什么都没留下…
展开
-
Flume(NG)架构设计要点及配置实践
文章转载自时延军(包含链接:http://shiyanjun.cn)Flume NG是一个分布式、可靠、可用的系统,它能够将不同数据源的海量日志数据进行高效收集、聚合、移动,最后存储到一个中心化数据存储系统中。由原来的Flume OG到现在的Flume NG,进行了架构重构,并且现在NG版本完全不兼容原来的OG版本。经过架构重构后,Flume NG更像是一个轻量的小工具,非常简单,容易适应各种方式...转载 2018-03-16 17:55:56 · 154 阅读 · 0 评论 -
flume配置负载均衡
集群配置了3台机器,分别为master,slave,slave2ip地址分别为192.168.88.128,192.168.88.129,192.168.88.130其中master的配置为:agent.sources = source1agent.channels = channel1agent.sinks = sink1 sink2agent.sinkgroups = group1a...原创 2018-03-28 17:51:02 · 1089 阅读 · 0 评论 -
Flume源码之ChannelProcessor
ChannelProcessor类主要的作用是处理从Source拿过来的event。这个最主要的是两个成员变量和两个方法。private final ChannelSelector selector;private final InterceptorChain interceptorChain;两个方法的代码差不多,一个是批量的一个是单个的,我们分析一下批量的方法。先看一下代码:public v...原创 2018-04-19 16:40:40 · 770 阅读 · 0 评论