参照官方文档,将 flume client 收集的日志文件 汇总到 flume sink收集端,然后存储到hdfs 中,默认会按生成许多小文件,如图所示
实际中可能只需要生成一个文件即可,这就涉及到了几个相关参数设置如下即可
需要修改的文件位于 flume/conf/ 下面,
agent.sinks.sink1.hdfs.round=true
agent.sinks.sink1.hdfs.roundValue=5
agent.sinks.sink1.hdfs.roundUnit=minute
agent.sinks.sink1.hdfs.rollInterval=30
agent.sinks.sink1.hdfs.rollSize=0
agent.sinks.sink1.hdfs.rollCount=0