黑猴子的家:Flume使用场景

Flume在英文中的意思是水道, 但Flume更像可以随意组装的消防水管,下面根据官方文档,展示几种Flow。

1、多个agent顺序连接

9193428-12900c1a30aea552.png

可以将多个Agent顺序连接起来,将最初的数据源经过收集,存储到最终的存储系统中。这是最简单的情况,一般情况下,应该控制这种顺序连接,Agent 的数量,因为数据流经的路径变长了,如果不考虑failover(故障转移)的话,出现故障将影响整个Flow上的Agent收集服务。

2、多个Agent的数据汇聚到同一个Agent

9193428-42cf756a6a1f35bc.png

这种情况应用的场景比较多,比如要收集Web网站的用户行为日志, Web网站,为了可用性使用的负载集群模式,每个节点都产生用户行为日志,可以为
每个节点,都配置一个Agent来单独收集日志数据,然后多个Agent将数据汇聚到一个Agent上,最终汇聚到用来存储数据的存储系统,列如HDFS上。

3、多级流

9193428-b19486506b930336.png

Flume还支持多级流,什么多级流?结合在云开发中的应用来举个例子,当syslog, java, nginx、 tomcat等混合在一起的日志流开始流入一个agent后,可以agent中将混杂的日志流分开,然后给每种日志建立一个自己的传输通道。

4、load balance功能

9193428-868116701fa4ca46.png

上图Agent是一个路由节点,负责将Channel暂存的Event均衡到对应的多个Sink组件上,而每个Sink组件分别连接到一个独立的Agent上 。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值