大数据组件之日志采集组件：Flume

简介

Apache Flume 是一个分布式、高可靠、高可用的系统，用于有效地收集、聚合大量日志数据，并将其从许多不同来源移动到集中式数据存储。

Apache Flume 的使用不仅限于日志数据聚合。由于数据源是可定制的，因此 Flume 可用于传输大量事件数据，包括但不限于网络流量数据、社交媒体生成的数据、电子邮件消息以及几乎任何可能的数据源。

Apache Flume 是 Apache 软件基金会的顶级项目。

环境要求

• java运行时环境：jdk1.8及以上
• 内存：为sources, channels or sinks提供充足的内存资源
• 磁盘空间：为channels 和 sinks使用到的配置提供充足的磁盘空间
• 文件操作权限：需要给agent提供目录/文件的读写权限

Flume模型

单处理模型

 多agent处理模型

 

单agent多channel复用模型