解决flume往hdfs中写大量小文件问题

小文件问题是指在HDFS中存在大量的小文件，这会给HDFS带来额外的开销，影响存储和计算的效率。

• 要是要对小文件进行计算,那么hdfs中每一个小文件都会对应生成一个task,而每一个task的形成和计算都会占用一定的资源和启停时间,影响计算效率
• nn中要记录dn中存储的数据索引,小文件过多会生产很多记录占用nn内对应的容量,影响nn的寿命

 在flume的-f 对象conf中,设置sink的相关参数可以改善这种情况

#实例a1,k1,具体情况具体更改
#表示每隔多少秒，Flume就会将内部的缓冲区数据写入HDFS。
a1.sinks.k1.hdfs.rollInterval

#表示当Flume的内部缓冲区达到指定字节数时，就会触发写入操作。
a1.sinks.k1.hdfs.rollSize

#表示不论内部缓冲区的大小或时间，当写入的文件数量达到指定数量时，就会触发滚动操作。
a1.sinks.k1.hdfs.rollCount

#示例
a1.sinks.k1.hdfs.rollInterval = 10
a1.sinks.k1.hdfs.rollSize = 134217728
a1.sinks.k1.hdfs.rollCount = 0

#这里将时间改为10秒(rollInterval的单位是秒)提交一次,
#rollSize设置为128M(rollSize单位是字节bytes)贴合我的分块大小,
#预期是每满128M数据就提交一次,但是为了防止可能最后的数据不够128M,
#一直提交不了,设置了10秒(根据情况,我的10s差不多就能满128M)解决这个问题,
#rollCount设为0表示关闭指定数量触发滚动的机制,是为了防止又出现文件数大小特别小且数量多的小文件情况