Flum基础实战

最新推荐文章于 2024-04-12 11:03:53 发布

沙滩上的漫步者

最新推荐文章于 2024-04-12 11:03:53 发布

阅读量2.3k

点赞数

分类专栏： BigData Hadoop 文章标签： flum

本文链接：https://blog.csdn.net/Alano1994/article/details/88857622

版权

Flume是一个高可用、高可靠、分布式的海量日志采集、聚合和传输系统，尤其适合大规模日志数据的处理。Flume NG架构包括Source、Channel和Sink，Event作为传输的基本单元。Agent由这三个组件构成，负责数据的传输。Source从数据源接收数据，Channel作为缓冲区存储Event，Sink将数据发送到目标位置。Flume支持多种类型的Source、Channel和Sink，如netcat、exec、spooldir、memory、Kafka、HDFS、HBase和Kafka等。

摘要由CSDN通过智能技术生成

Flume 架构实战

Flume是什么

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构，与Flume-og有很大不同，使用时请注意区分。

在这里插入图片描述