HDFS小文件弊端
HDFS上每个文件都要在NameNode上建立一个索引,这个索引的大小约为150byte,这样当小文件比较多的时候,就会产生很多的索引文件,一方面会大量占用NameNode的内存空间,另一方面就是索引文件过大使得索引速度变慢。
HDFS小文件解决方案
小文件的优化无非以下几种方式:
(1)在数据采集的时候,就将小文件或小批数据合成大文件再上传HDFS。
(2)在业务处理之前,在HDFS上使用MapReduce程序对小文件进行合并。
(3)在MapReduce处理时,可采用CombineTextInputFormat提高效率。
1. Hadoop Archive
是一个高效地将小文件放入HDFS块中的文件存档工具,它能够将多个小
文件打包成一个HAR文件,这样就减少了NameNode的内存使用。
2. Sequence File
Sequence File由一系列的二 进制key/va1ue组成, 如果key为文件名,value为文件内容,则可以将大批小文件合并成一个大文件。
3. CombineFilelnputFormat
CombineFileInputFormat是一种新的InputFormat, 盱将多个文件合并成一
个单独的Split,另外,它会考虑数据的存储位置。
4.开启JVM重用
对于大量小文件Job,可以开启JVM重用会减少45%运行时间。
JVM重用原理: 一个Map运行在一个JVM上, 开启重用的话,该Map在NM
上运行完毕后,JVM继续运行其他Map。
具体设置: mapreduce.job.jvm.numtasks值在10-20之间。