File Roll Sink是将收集到的数据写到磁盘的指定位置上。同HDFS Sink一样,File Roll Sink在往磁盘上写的时候,也有一个滚动时间,默认同样是30s间隔,因此在磁盘上同样会形成大量的小文件。
编辑配置文件
a1.sources=r1
a1.channels=c1
a1.sinks=k1
a1.sources.r1.type=netcat
a1.sources.r1.bind = m1
a1.sources.r1.port= 6666
a1.sinks.k1.type = file_roll
a1.sinks.k1.sink.directory=/export/software/
a1.sinks.k1.sink.rollInterval = 3600
a1.channels.c1.type=memory
a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1
启动flume
flume-ng agent -c $FLUME_HOME/conf -n a1 -f $FLUME_HOME/hdfssource.conf -Dflume.root.logger=INFO,console
发送数据
nc m1 666
查看结果:生成一个文件