1. Flume简介
- Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统
- 支持在日志系统中定制各类数据发送方,用于收集数据
- Flume提供对数据进行简单处理,并写到各种数据接收方
2. Flume OG 与Flume NG
Flume OG:Flume original generation,即Flume0.9x版本
Flume NG:Flume next generation,即Flume1.x版本
3. Flume体系结构
flume的事件(agent)
- Source: 用来定义采集系统的源头
- Channel: 把Source采集到的日志进行传输,处理
- Sink:定义数据的目的地
4. Flume的安装
-
准备安装文件
- apache-flume-1.6.0-bin.tar.gz
-
解压
- tar -zxvf apache-flume-1.6.0-bin.tar.gz -C /opt/
-
重命名
- mv apache-flume-1.6.0-bin flume
-
添加环境变量
#配置Flume的环境变量
export FLUME_HOME=/opt/flume
export PATH=$PATH:$FLUME_HOME/bin
- 配置文件
[root@mini01 /opt/flume/conf]
mv flume-env.sh.template flume-env.sh
[root@mini01 /opt/flume/conf/flume-env.sh]
export JAVA_HOME=/opt/jdk