[flume]hdfsSink中的round与roll的区别

roll相关字段

字段	默认值	说明
rollInterval	30	滚动文件之前等待的秒数。设置为0表示不会因为时间间隔截断文件
rollSize	1024	触发滚动的文件大小，以字节为单位。设置为0就不因为文件大小截断文件
rollCount	10	滚动文件之前写入文件的时间数。设置为0就不因为event数量截断文件

以上三个字段是配置文件滚动的阈值（文件滚动：也就是flume关闭当前文件，然后生成一个新文件继续写入）。

只要达到以上三个条件中的任意一个，就触发文件滚动。

round相关字段

round的相关字段作用的对象是时间戳，是对时间戳进行舍入处理。

如我们经常会在flume使用%y、%m、%d、%H、%M、%S等和时间戳相关格式化字符。

字段	默认值	说明
round	false	时间戳需不需要四舍五入(不影响%t)
roundValue	1	时间戳四舍五入的倍数，要小于当前时间
roundUnit	second	时间戳四舍五入的单位

以下通过一个例子举例一下,来体现round相关字段的作用

#flume采集方案部分配置
a1.sinks.k1.hdfs.path = /flume/events/minute=%M/second=%S
a1.sinks.k1.hdfs.round = true
a1.sinks.k1.hdfs.roundValue = 1
a1.sinks.k1.hdfs.roundUnit = minute	

如果采用以上的采集方案。

如果在2020-12-28 12时40分14秒生成文件所产生的文件为/flume/minute=12/second=00 。

如果我们将采集方案修改如下

#flume采集方案部分配置
a1.sinks.k1.hdfs.path = /flume/events/minute=%M/second=%S
a1.sinks.k1.hdfs.round = true
a1.sinks.k1.hdfs.roundValue = 10
a1.sinks.k1.hdfs.roundUnit = minute	

如果在2020-12-28 12时37分14秒生成文件所产生的文件为/flume/minute=40/second=00。

因此，roll相关字段是与时间戳相关。

---

以下是具体带图片的例子

例子1.1

采集方案：

taildir-hdfs.conf

#1.定义各Agent组件的名称
a1.sources=r1
a1.channels=c1
a1.sinks=s1

#2.描述并配置source
a1.sources.r1.type=TAILDIR
a1.sources.r1.positionFile=/export/servers/flume/weblog2/taildir_position.json
a1.sources.r1.filegroups=f1 f2
a1.sources.r1.filegroups.f1=/export/servers/flume/weblog2/test1/example.log
a1.sources.r1.filegroups.f2=/export/servers/flume/weblog2/test2/.*log.*
#a1.sources.r1.fileHeader=true

#3.配置并描述channel
#a1.channels.c1.type=file
#a1.channels.c1.checkpointDIr=/mnt/flume/checkpoint                
#a1.channels.c1.dataDirs=/mnt/flume/data                           
a1.channels.c1.type=memory
a1.channels.c1.capacity=100
a1.channels.c1.transactionCapacity=100
a1.channels.c1.keep-alive=10
a1.channels.c1.byteCapacity=0

#4.配置并描述sink
a1.sinks.s1.type=hdfs
a1.sinks.s1.hdfs.path=hdfs://hadoop01:9000/flume/weblog2/events3/mintue=%M
#4.1.在hdfs下生成的文件，文件的前缀
a1.sinks.s1.hdfs.filePrefix=minute=%M-second=%S
a1.sinks.rollInterval=10
a1.sinks.rollCount=0
a1.sinks.rollSize=0
#a1.sinks.idleTimeout=60                         
a1.sinks.s1.hdfs.round=true
a1.sinks.s1.hdfs.roundValue=10
a1.sinks.s1.hdfs.roundUnit=minute
a1.sinks.s1.hdfs.useLocalTimeStamp=true
a1.sinks.s1.hdfs.fileType=DataStream

#5.通过channel连接source和sink
a1.sources.r1.channels=c1
a1.sinks.s1.channel=c1

hdfs上的结果

T5KS-1609164793349)]

例子1.2

请见 https://blog.csdn.net/weixin_43326165/article/details/101103564

参考

• https://blog.csdn.net/weixin_43326165/article/details/101103564