HDFS小文件优化方法

1.HDFS小文件弊端

HDFS上每个文件都要在NameNode上建立一个索引，这个索引的大小约为150byte，这样当小文件比较多的时候，就会产生很多的索引文件，一方面会大量占用NameNode的内存空间，另一方面就是索引文件过大使得索引速度变慢。

2.HDFS小文件解决方案

小文件的优化无非以下几种方式：
（1）在数据采集的时候，就将小文件或小批数据合成大文件再上传HDFS。
（2）在业务处理之前，在HDFS上使用MapReduce程序对小文件进行合并。
（3）在MapReduce处理时，可采用CombineTextInputFormat提高效率。

具体方案如下：

1. Hadoop Archive
   是一个高效地将小文件放入HDFS块中的文件存档工具,它能够将多个小文件打包成一个HAR文件,这样就减少了NameNode的内存使用。

2. Sequence Fileequence File
   由一系列的二进制key/value组成,如果key为文件名, value为文件内容,则可以将大批小文件合并成一个大文件。

3. CombineFilelnputFormat
   CombineFilelnputFormat是一种新的InputFormat,用于将多个文件合并成一个单独的Split,另外,它会考虑数据的存储位置。

4. 开启JVM重用
   Hadoop的默认配置通常是使用派生JVM来执行map和Reduce任务的。这时JVM的启动和关闭过程可能会造成相当大的开销，尤其是执行的job包含有成百上千task任务的情况。JVM重用可以使得JVM实例在同一个job中重新使用N次。
   对于大量小文件Job,可以开启JVM重用会减少45%运行时间。JVM重用原理:一个Map运行在一个JVM上,开启重用的话,该Map在JVM上运行完毕后, JVM继续运行其他Map.
   具体设置: mapreduce.job.jvm.numtasks值在10-20之间。