本文是我发表在大华Share Or Out俱乐部中的文章,希望读者阅读后能初步了解flume的基本概念和用途,限于本人能力,有错误之处还请指出,谢谢!
介绍:
Flume是Apache下面的一个分布式组件,它提供高效,可靠的收集,整合,传输日志数据的服务。Flume可以理解成一个管道,它连接数据的生产者和消费者,它从数据的生产者(Source)获取数据,保存在自己的缓存(Channel)中,然后通过Sink发送到消费者。它不对数据做保存和复杂的处理(可以做简单过滤和改写)。
架构:
Flume在版本0.9x以前的版本统称为Flume-og,1.X之后的版本统称为Flume-ng,也就是Origion Generation和New Generation的区别,相对于老的版本来说,Flume-ng版本在架构上面做了很大的改动,由于时间仓促,本文仅对Flume-ng版本做介绍。
由于Flume-og版本中Flume的角色过多,比如agent, collector,master等,导致用户使用起来存在困难,因此新的Flume-ng只设计了一个角色