Apache Flume是一个高可用、高可靠的数据采集、聚合和传输工具，主要用于日志收集。它由Source、Channel和Sink三部分组成，Source获取数据，Channel作为临时存储，Sink负责将数据传输到目标位置。Flume支持多种数据源和接收方，适用于各种数据采集场景。系统中，Agent是核心角色，每个Agent包含Source、Channel和Sink，它们协同工作以传输event，即数据的最小完整单元。
1．概述
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的软件。
Flume的核心是把数据从数据源(source)收集过来，再将收集到的数据送到指定的目的地(sink)。为了保证输送的过程一定成功，在送到目的地(sink)之前，会先缓存数据(channel),待数据真正到达目的地(sink)后，flume在删除自己缓存的数据。
Flume支持定制各类数据发送方，用于收集各类型数据；同时，Flume支持定制各种数据接受方，用于最终存储数据。一般的采集需求，通过对flume的简单配置即可实现。针对特殊场景也具备良好的自定义扩展能力。因此，flume可以适用于大部分的日常数据采集场景。
当前Flume有两个版本。Flume 0.9X版本的统称Flume OG（original generation），Flume1.X版本的统称Flume NG（next generation）。
由于Flume NG经过核心组件、核心配置以及代码架构重构，与Flume OG有很大不同，使用时请注意区分。改动的另一原因是将Flume纳入 apache 旗下，Cloudera Flume 改名为 Apache Flume。
2．运行机制
Flume系统中核心的角色是agent，agent本身是一个Java进程，一般运行在日志收集节点。
每一个agent相当于一个数据传递员，内部有
最低0.47元/天 解锁文章
1033
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
