Flume:是Cloudera提供的一个高可用的、高可靠的、分布式的海量日志收集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写道各种数据接收方(可定制)的能力。
Flume有两个重要版本:
Flume 0.9X版本的统称Flume-og,
Flume 1.X版本的统称Flume-ng。
由于Flume-ng经过重大重构,与Flume-og有很大不同。
简单理解为:Flume是搬运数据的好帮手(小软件)。
Flume应用架构:
如上图:各类数据源(日志,数据表,图形) -->Flume集群/各节点 -->HDFS/Hbase/
每个节点对应一个Agent(代理),包含:source,channel,sink三个组件
Source:
从数据发生器接受数据,并将接收的数据以Flume的event格式传递给一个或者多个通道channel,Flume提供多种数据接收的方式,如Avro,Thrift,twitter等
Channel:
是一种短暂的存储容器,它将从source处接收到的event格式的数据缓存起来,直到它们被sinks消费掉,它在source和sink起着一共桥梁的作用,channal是一个完整的事务,这一点保证了数据在收发的时候的一致性,并且它可以和任意数量的source和sink连接,支持的类型有:JDBC channel , File System channel , Memort channel等.
sink:
sink将数据储存到集中储存器比如Hbase和Hdfs,它从channals消费数据(events)并将其传递给目标地,目标地可能是另一个sink,也可能是HDFS,Hbase。
Flume安装配置
单节点:
1.解压安装包,重命名
cd /opt/mysoft
tar -zxvf apache-flume-1.7.0-bin.tar.gz
mv apache-flume-1.7.0-bin flume
2.配置环境变量
source /etc/profile
3.配置Flume
cd /opt/mysoft/flume/conf
mv flume-env.sh.template flume-env.sh
配置JDK路径
备注:若后续将数据采集到Hadoop/Hbase,启动Flume时会提示包冲突,建议直接删除 flume/lib/slf4j-log4j12-1.6.1.jar 和hbase/lib/slf4j-log4j12-1.7.5.jar ,只保留/opt/mysoft/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar即可。