Flume使用（新手）

使用Flume的关键是配置文件

1）配置Source

2）配置Channel

3）配置sink

4）把以上三个组件串联起来

主要组件

a1:agent名称(我把agent理解为任务)

r1:source名称(要监听的资源)（通过tpye控制监听类别，以下对应）

k1:sink的名称(采集的资源去向)

c1:channel的名称(通道（队列），缓冲区)

 

example.conf

# agent的组件命名
a1.sources = r1
a1.sinks = k1
a1.channels = c1

#配置source
a1.sources.r1.type = netcat
a1.sources.r1.bind = <ip>
a1.sources.r1.port = <port>

#配置sink
a1.sinks.k1.type = logger

#channel的缓存空间
a1.channels.c1.type = memory

#绑定source与sink的channel
a1.sources.r1.channels = c1
a1.sinks.k1.channels = c1

启动命令：

--name <agent的名字>
--conf $FLUME_HOME/conf <配置文件路径>
--conf-file <配置文件的名字>
-Dflume.root.logger==INFO,console [日志信息打印到控制台]

flume-ng agent --name a1 --conf $FLUME_HOME/conf --conf-flie $FLUME_HOME/conf/example.conf -Dflume.root.logger=INFO,console

测试：

yum install telnet

telnet <ip> <port>