Flume简介
Flume 是 Cloudera 提供的日志收集系统, 使用java语言编写,具有分布式、 高可靠、高可用性等特点, 适用于大数据的数据收集,聚合转换和传输。 Flume 支持在组件式配置,用户可以根据不同的应用场景部署各个组件。组件可以使用官方提供的,也可以使用用户自己二次开发的。
Flume架构
Flume的核心为Agent,每个Agent是一套完成的数据传输工具,完成数据的接收,转化,发送过程。
agent最核心的组件有Source,Channel,Sink。Agent的传输单位为Event。每个Event传输都经历如下过程:
Flume配置使用
以下是flume官方提供的flume配置例子。每个Agent配置,最少出现一个source,channel,sink。
每个source必须配置写入一个channel,每个sink必须连接一个Channel。。
当配置好后,通过执行如下命令启动:
bin/flume-ng agent -n agent名 -c conf -f 配置文件路径 -Dflume.root.logger=INFO,console。
如下ÿ