flume基础

百度cdh index可入下载地址和官网
本人安装的是这个flume-ng-1.6.0-cdh5.7.1.tar.gz

flume

是收集日志数据的框架
一个agent就是一个flume，一个进程
一个flume有3个部分
source做收集
channel，缓冲，因为收集数据和写数据的速度不能控制，平衡读写。
sink，写数据

基本的配置模板

Event由一个可选的header头和一个载有数据的byte array的body组成，载有的数据对flume是不透明的，header是一个容纳了key-value对的无序集合，key在这个集合中唯一存在，这个类似于Java中的set集合，无序不可重复。

exec-logger-agent.conf

#agent
exec-logger-agent.sources = exec-source
exec-logger-agent.channels = memory-channel
exec-logger-agent.sinks = logger-sink

#source
exec-logger-agent.sources.exec-source.type = exec
exec-logger-agent.sources.exec-source.command = tail -F /home/hadoop/flume/1.log

#channel
exec-logger-agent.channels.memory-channel.type = memory

#sink
exec-logger-agent.sinks.logger-sink.type = logger

#bind source and sink to channel
exec-logger-agent.sources.exec-source.channels = memory-channel
exec-logger-agent.sinks.logger-sink.channel = memory-channel

运行

./flume-ng agent --conf /home/hadoop/app/flume-1.6.0-cdh5.7.1/conf --conf-file /home/hado