1、HDFS小文件弊端
HDFS上每个文件都要在namenode上建立一个索引,这个索引的大小约为150byte,这样当小文件比较多的时 候 ,就会产生很多的索引文件,一方面会大量占用namenode的内存空间 ,另一方面就是索引文件过大是的索引速 度变慢。
2、解决方法
①Hadoop Archive
是一个高效地将小文件放入HDFS块中的文件存档工具,它能够将多个小文件打包成一个HAR文件,这样在减 少namenode内存使用的同时。
②Sequence file
sequence file由一系列的二进制key/value组成 ,如果key为文件名 ,value为文件内容 ,则可以将大批小文件合并成一个大文件。
3、CombineFileFormat
CombineFileInputFormat是一种新的inputformat,用于将多个文件合并成一个单独的split,另外,它会考虑 数据的存储位置
4、开启JVM重用
对于大量小文件Job ,可以开启JVM重用会减少45%运行时间。
JVM重用理解:一个map运行一个jvm ,重用的话 ,在一个map在jvm上运行完毕后,jvm继续运行其他jvm
具体设置:mapreduce.job.jvm.numtasks值在10-20之间。