flume
taoy86
这个作者很懒,什么都没留下…
展开
-
Flume入门
Flume是一个分布式、可靠、和高可用的海量日志聚合的系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。一个独立的Flume进程称之为Agent,包含组件Source、Channel、Sink Source。Flume OG:Flume original generation ,即Flume 0.9.x版本 ;...转载 2018-05-02 10:55:47 · 275 阅读 · 0 评论 -
Flume单Channel多Sink配置
转自 https://blog.csdn.net/a632189007/article/details/74643000 多sink可以直接按常规配置,这样的话每个sink会启动一个sinkrunner,相当于每个线程一个sink,互不干扰,负载均衡是通过channel实现的,效率会提高为n倍,如果在此基础上加入sinkgroup,则sinkgroup会启动一个sinkrunner,就是单线程,s...转载 2018-05-02 17:41:16 · 1673 阅读 · 0 评论 -
flume 的source 、channel和sink 多种组合
flume 有三大组件source 、channel和sink,各个组件之间都可以相互组合使用,各组件间耦合度低。使用灵活,方便。1.多sinkchannel 的内容只输出一次,同一个event 如果sink1 输出,sink2 不输出; 最终 sink1+sink2=channel 中的数据。配置文件如下:a1.sources = r1 a1.sinks = k1 k2 a1.channels ...转载 2018-05-02 17:47:31 · 320 阅读 · 0 评论