在我们使用Flume采集数据到hadoop上的时候,由于没有专门更改对应配置文件,容易造成hdfs小文件过多的现象。
这个时候我们就需要进入到Flume对应的配置文件里面更改hdfs对应的agent文件
将这个rollSize数据设置为128M大小即可,这样的话数据满了128 M才会滚动文件,将数据传输到hdfs上,这样的话大量临时小文件会统一放在一起打包到HDFS上。
当然也可以设置为其它大小,不过rollSize的大小默认为1M,设置为0 的话,就按照临时文件大小来上传。
当然HDFS的文件快大小为我们使用的hadoop3.x 的HDFS块大小为128M,故设置为128M比较妥当。
12-06
1051