Apache Flume是一个分布式日志收集、整合和传输系统。它采用Source、Channel和Sink的架构，允许灵活的数据流配置。Flume提供多种预置Source、Channel和Sink类型，适用于数据级联、聚合和分发场景。用户还可以自定义这些组件以适应特定需求。
本文是我发表在大华Share Or Out俱乐部中的文章，希望读者阅读后能初步了解flume的基本概念和用途，限于本人能力，有错误之处还请指出，谢谢！
介绍：
Flume是Apache下面的一个分布式组件，它提供高效，可靠的收集，整合，传输日志数据的服务。Flume可以理解成一个管道，它连接数据的生产者和消费者，它从数据的生产者(Source)获取数据，保存在自己的缓存(Channel)中，然后通过Sink发送到消费者。它不对数据做保存和复杂的处理(可以做简单过滤和改写)。
架构：
Flume在版本0.9x以前的版本统称为Flume-og，1.X之后的版本统称为Flume-ng，也就是Origion Generation和New Generation的区别，相对于老的版本来说，Flume-ng版本在架构上面做了很大的改动，由于时间仓促，本文仅对Flume-ng版本做介绍。
由于Flume-og版本中Flume的角色过多，比如agent, collector,master等，导致用户使用起来存在困难，因此新的Flume-ng只设计了一个角色
最低0.47元/天 解锁文章
243
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
