Hadoop小文件优化方法

一、Hadoop小文件弊端

大象怕老鼠，Hadoop怕小文件。

HDFS怕小文件：HDFS上每个文件都要在NameNode上创建对应的元数据，这个元数据的大小约为150byte，这样当小文件比较多的时候，就会产生很多的元数据文件，一方面会大量占用NameNode的内存空间，另一方面就是元数据文件过多，使得寻址索引速度变慢。【一般企业NN的内存为128GB，你觉得每次存1kb的文件合适吗？】

MR怕小文件：小文件过多，在进行MR计算时，会生成过多切片，需要启动过多的MapTask。每个MapTask处理的数据量小，导致MapTask的处理时间比启动时间还小，白白消耗资源。【MR AppMaster 辛辛苦苦向老大RM申请资源，结果1个MapTask就处理1kb的文件，用大炮打蚊子】

二、Hadoop小文件解决方案

1.小文件优化的方向：

（1）在数据采集的时候，就将小文件或小批数据合成大文件再上传HDFS。

（2）在业务处理之前，在HDFS上使用MapReduce程序对小文件进行合并。

（3）在MapReduce处理时，可采用CombineTextInputFormat提高效率。

（4）开启uber模式，实现jvm重用

2.Hadoop Archive

这是一个高效的将小文件放入HDFS块中的文件存档工具，能够将多个小文件打包成一个HAR文件，从而达到减少NameNode的内存使用。HDFS存档文件或HAR文件，它将文件存入HDFS块，在减少NameNode内存使用的同时，允许对文件进行透明的访问。具体说来，HDFS存档文件对内还是一个一个独立文件，对NameNode而言却是一个整体，减少了NameNode的内存。

案例一： （1）需要启动YARN进程 [user001@hadoop102 hadoop-3.1.3]$ start-yarn.sh （2）归档文件 把/user/user001/input目录里面的所有文件归档成一个叫input.har的归档文件，并把归档后文件存储到/user/user001/output路径下。 [user001@hadoop102 hadoop-3.1.3]$ hadoop archive -archiveName input.har -p  /user/user001/input   /user/user001/output （3）查看归档 [user001@hadoop102 hadoop-3.1.3]$ hadoop fs -ls /user/user001/output/input.har [user001@hadoop102 hadoop-3.1.3]$ hadoop fs -ls har:///user/user001/output/input.har （4）解归档文件 [user001@hadoop102 hadoop-3.1.3]$ hadoop fs -cp har:/// user/user001/output/input.har/*    /user/user001

3.SequenceFile（用的不多）

SequenceFile是由一系列的二进制k/v组成，如果为key为文件名，value为文件内容，可将大批小文件合并成一个大文件

4.CombineTextInputFormat

CombineTextInputFormat用于将多个小文件在切片过程中生成一个单独的切片或者少量的切片。

通过设置虚拟存储切片 CombineTextInputFormat.setMaxInputSplitSize(job, 20971520);// 20m 有5个小文件：分别是3m，6m，4m，2m，2m。 那么最后，只有一个切片，只启动一个MapTask。

5.Uber模式，实现jvm重用

开启uber模式，实现jvm重用。默认情况下，每个Task任务都需要启动一个jvm来运行，如果Task任务计算的数据量很小，我们可以让同一个Job的多个Task运行在一个Jvm中，不必为每个Task都开启一个Jvm.  【其实一个Jvm就是一个Container（可通过YARN的web端口查看），所有的MapTask，ReduceTask，以及MR AppMaster 都共用这个Container，会浪费Hadoop的并行优势，故默认设置只支持下调。 比如10个小文件，就不能使用Uber】

开启uber模式，在mapred-site.xml中添加如下配置 <!--  开启uber模式 --> <property>   <name>mapreduce.job.ubertask.enable</name>   <value>true</value> </property>   <!-- uber模式中最大的mapTask数量，可向下修改  --> <property>   <name>mapreduce.job.ubertask.maxmaps</name>   <value>9</value> </property> <!-- uber模式中最大的reduce数量，可向下修改 --> <property>   <name>mapreduce.job.ubertask.maxreduces</name>   <value>1</value> </property> <!-- uber模式中最大的输入数据量，默认使用dfs.blocksize 的值，可向下修改 --> <property>   <name>mapreduce.job.ubertask.maxbytes</name>   <value></value> </property>