Flume采集数据时在HDFS上产生大量小文件的问题

调用agent 配置文件的：

#Describe the sink  添加：

a1.sinks.k1.hdfs.rollSize=0

a1.sinks.k1.hdfs.rollCount=0
rollSize
默认值：1024，当临时文件达到该大小（单位：bytes）时，滚动成目标文件。如果设置成0，则表示不根据临时文件大小来滚动文件。
rollCount
默认值：10，当events数据达到该数量时候，将临时文件滚动成目标文件，如果设置成0，则表示不根据events数据来滚动文件。

还有另一种出现大量小文件对应的解决方案，即设置a1.sinks.k1.hdfs.minBlockReplicas=1。因为文件会因为所在块的复制而滚动文件 待测试......

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/31441024/viewspace-2168827/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/31441024/viewspace-2168827/