大数据学习系列6-Centos6.7 hadoop-2.6.5下flume-1.6.0的使用

1、flume的安装非常简单，只需要解压即可，当然，前提是已有hadoop环境

上传安装包到数据源所在节点mini1上

然后解压  tar -zxvf apache-flume-1.6.0-bin.tar.gz -C /home/hadoop/apps/

然后进入flume的目录，修改conf下的flume-env.sh，在里面配置JAVA_HOME

2、根据数据采集的需求配置采集方案，描述在配置文件中(文件名可任意自定义)

3、指定采集方案配置文件，在相应的节点上启动flume agent

 

实例：采集监听端口的数据netcat-logger.conf

# Name the components on this agent

#给那三个组件取个名字

a1.sources = r1

a1.sinks = k1

a1.channels = c1

 

# Describe/configure the source

#类型, 从网络端口接收数据,在本机启动

a1.sources.r1.type = netcat

a1.sources.r1.bind = localhost #注意(绑定127.0.0.1)或者配主机名会自动找到主机绑定的ip

a1.sources.r1.port = 44444

 

# Describe the sink

a1.sinks.k1.type = logger

 

# Use a channel which buffers events in memory

#下沉的时候是一批一批的, 下沉的时候是一个个eventChannel参数解释：

#capacity：默认该通道中最大的可以存储的event数量

#trasactionCapacity：每次最大可以从source中拿到或者送到sink中的event数量

a1.channels.c1.type = memory

a1.channels.c1.capacity = 1000

a1.channels.c1.transactionCapacity = 100

 

# Bind the source and sink to the channel

a1.sources.r1.channels = c1

a1.sinks.k1.channel = c1

 

启动命令：

#告诉flume启动一个agent,指定配置参数, --name:agent的名字,

$ bin/flume-ng agent --conf conf --conf-file conf/netcat-logger.conf --name a1 -Dflume.root.logger=INFO,console

演示：在任意主机上，telnet mini1 44444，输入数据，可以看到日志打印出输入的数据