Apache Flume是一个分布式、可靠且用于有效收集、聚合和移动大量日志数据的系统。它由Source、Channel和Sink三部分组成，分别负责搜集、存储和传输事件。事件是Flume的基本数据单位，携带日志数据并可经过Source处理后存入Channel，再由Sink处理并持久化或传给其他Source。Flume支持自定义Source、Sink和Channel，以及使用Interceptors进行日志过滤。一个典型的应用场景是使用Avro Source收集log4j日志，并通过HDFS Sink将其存储到Hadoop文件系统。
flume 官网：http://flume.apache.org/FlumeUserGuide.html
先把flume做一个简单的比喻帮助理解：
有一个池子，它一头进水，另一头出水，进水口可以配置各种管子，出水口也可以配置各种管子，可以有多个进水口、多个出水口，
水术语称为Event，进水口术语称为Source、出水口术语成为Sink、池子术语成为Channel，Source+Channel+Sink，术语称为Agent。
flume主要是由 source channel sink 三部分组成，这三个组件的主要作用是 搜集信息，传递信息，存储信息；
797
1420
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
最低0.47元/天 解锁文章
扫一扫
