准备工作:
1、准备一个文件,方便后面使用
2、Hadoop集群,需要三个节点
操作步骤:
1、创建配置文件agent1.conf
,分别在node1,node2,node3中
内容如下:
#agent1(node1)
a1.sources=r1
a1.channels=c1 c2
a1.sinks=k1 k2
a1.sources.r1.type=exec
a1.sources.r1.command=tail -F /opt/soft/flume190/demo/123.log
#配置channelSelector - replicating(复制-默认不配也可以)
#a1.sources.r1.selector.type = replicating
#复用
a1.sources.r1.selector.type = multiplexing
#event(headers | body)根据headers中的key和value进行数据的发送
#state指的是headers,key的值
a1.sources.r1.selector.header = state
#CZ指的是key对应的value值,那么就发送到c1
a1.sources.r1.selector.mapping.CZ = c1
#US指的是key对应的value值,那么就发送到c2
a1.sources.r1.selector.mapping.US = c2
#需求:给event中的headers添加数据
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = static
a1.sources.r1.interceptors.i1.key = state
a1.sources.r1.interceptors.i1.value = CZ
a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c2.type=memory
a1.channels.c2.capacity=1000
a1.sinks.k1.type=avro
a1.sinks.k1.hostname=node2
a1.sinks.k1.port=33333
a1.sinks.k2.type=avro
a1.sinks.k2.hostname=node3
a1.sinks.k2.port=44444
a1.sources.r1.channels=c1 c2
a1.sinks.k1.channel=c1
a1.sinks.k2.channel=c2
#agent1(node2)
a1.sources=r1
a1.channels=c1
a1.sinks=k1
a1.sources.r1.type=avro
a1.sources.r1.bind=node2
a1.sources.r1.port=33333
a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.sinks.k1.type=logger
a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1
#agent1(node3)
a1.sources=r1
a1.channels=c1
a1.sinks=k1
a1.sources.r1.type=avro
a1.sources.r1.bind=node3
a1.sources.r1.port=44444
a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
#将event数据存储到本地磁盘上
a1.sinks.k1.type=logger
a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1
2、执行命令
进入到flume目录下,执行命令。
在node1中,执行命令flume-ng agent -n a1 -c conf/ -f datas2/agent1.conf -Dflume.root.logger=INFO,console
,
在node2中,执行命令flume-ng agent -n a1 -c conf/ -f datas2/agent1.conf -Dflume.root.logger=INFO,console
,
在node3中,执行命令flume-ng agent -n a1 -c conf/ -f datas2/agent1.conf -Dflume.root.logger=INFO,console
。
3、查看输出内容
node2中