flume中的source端配置

接触过flume的朋友们应该知道flume是一个分布是的消息收集日志系统，下面为大家介绍一下flume的source端的配置

我们应该知道source端是用来收集日志的信息的，可以收集很多地方的日志，比如说：文件，文件夹，或者是nc发送的数据等等

下面我为大家说一下配置信息
1.读取nc发送的数据当做源数据
#读取的数据 源数据
a1.sources.r1.type = netcat
#连接的名字
a1.sources.r1.bind = localhost
a1.sources.r1.port = 5566

我们直接可以通过nc localhost 5566来发送数据
前提是你已经安装了netcat

2.监听目录单做源数据
#监听目录
a1.sources.r1.type=spooldir
a1.sources.r1.spoolDir=/root/logs
a1.sources.r1.fileHeader = true

3.监听文件单做源数据
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /opt/test-flume.log
a1.sources.r1.shell = /bin/bash -c

4.监听kafka生产者的数据作为源数据
a1.sources.r1.type = org.apache.flume.source.kafka.KafkaSource
a1.sources.r1.channels = mem_channel
a1.sources.r1.batchSize = 5000
配置kafka端口号
a1.sources.r1.servers = node02:9092,node03:9092,node04:9092
设置kafka的topic（主题）
a1.sources.r1.topics = hellotopic
配置groupid
a1.sources.r1.consumer.group.id = flume_test_id

暂时了解的就这么多，请多指正