官方入门案例:
安装newcat:
sudo yum install -y nc
查看端口是否被占用:
sudo netstat -tunlp | grep 端口号
在flume-netcat-logger.conf文件中添加:
# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444
# Describe the sink
a1.sinks.k1.type = logger
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
先对agent令名组件:
a1是当前的agent的名字,sources、sinks、channels 在agent中定义多个source、sink、channel
r1、k1、c1与下面的与之对应
描述配置source----a1的输入源类型为newcat端口类型、a1的的监听主机以及端口号
sink----表示a1的输出目的是控制台logger类型
channel的类型是memory内存型(也可以是File),缓冲的总容量是1000(1000代表1000个事件,并不是字节),收集到100个事件再提交事务
由于source、sink、channel可能较多,所以在最后要做一个绑定,建立单独的通道才能顺利传输
r1写入c1,k1从c1拉数据
channel加了s,所以一个source可以缓存到多个channel,而下面的channel没有加s,所以sink只来自一个channel,一个channel可以被多个sink读取
启动flume监听端口:
bin/flume-ng agent -c conf/ -n a1 -f job/flume-netcat-logger.conf -Dflume.root.logger=INFO,console
这个就相当于是一个客户端去连接服务器