flume案例

先丢个官网

1.入门案例

写配置文件

#	a1:agent名称    r1:source名称    k1:sink名称    c1:channel名称
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# 设置source参数,这边设置了source类型netcat，绑定192.168.0.133，端口44444
a1.sources.r1.type = netcat
a1.sources.r1.bind = 192.168.0.133
a1.sources.r1.port = 44444

# 设置sink参数，这边设置了类型为logger
a1.sinks.k1.type = logger

# 设置channel参数，这边设置了类型为memory
a1.channels.c1.type = memory

# 将四者绑定起来
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

然后我们启动flume

bin/flume-ng agent \
–name a1 \
–conf $FLUME_HOME/conf \
–conf-file $FLUME_HOME/conf/example.conf \
-Dflume.root.logger=INFO,console

启动成功检测一下
使用telnet进行检测

查看flume

需求完成

2.监控一个文件实时采集数据输出到控制台

source我们选择exec，sink我们使用logger
写配置文件

#	a1