hive优化处理大量小文件

一、hive小文件

       Hive的数据存储在HDFS，它对大文件的处理是非常高效的，如果合理配置文件系统的块大小，NameNode可以支持很大的数据量。HDFS主要分为NameNode，DataNode，SecondaryNameNode。
       简单来说，HDFS数据的文件元信息，包括位置、大小、分块信息等，都是保存在NameNode的内存中的（真正的数据是存储在DataNode）。每个对象约占用150个字节，因此一千万个文件及分块就会占用约3G的内存空间(每个小文件都会占用NameNode模块的存储资源)，一旦接近这个量级，NameNode的性能就会开始下降了。此外，HDFS读写小文件时也会更加耗时，因为每次都需要从NameNode获取元信息，并与对应的DataNode建立连接，读取数据。对于MapReduce程序来说，小文件还会增加Mapper的个数，每个脚本只处理很少的数据，浪费了大量的调度时间。当然这个问题可以通过使用CombinedInputFile和JVM重用来解决。

二、小文件的产生：

2.1、动态分区插入数据的时候，会产生大量的小文件（动态分区产生小文件原因：在一段sql中指定两个字段当动态分区，一个字段的基数为7，另一个为4，这就是28个分区，数据插入动态分区阶段只有map任务，假如有4000个map，这种情况下map任务在往hive分区中写的时候，每个map几乎都要产生28个文件，这样就会产生4000*28个文件，带来大量的小文件）；
2.2、数据源本身就包含有大量的小文件；
2.3、Reduce数量的增加，即意味结果文件的增加，从而产生小文件的问题。

三、小文件的影响：

3.1、从HIVE角度来看的话呢，小文件越多，map的个数也会越多，每一个map都会开启一个JVM虚拟机，每个虚拟机都要创建任务，执行任务，这些流程都会造成大量的资源浪费，严重影响性能；
3.2、在HDFS中，每个小文件约占150byte，如果小文件过多则会占用大量的内存。这样namenode内存容量严重制约了集群的发展。

四、小文件的解决方案：

4.1、从小文件的产生途径解决：

1）使用sequencefile作为表存储形式，不要使用textfile，在一定程度上可以减少小文件；
2）减少reduce的个数（减少生成分区数量）；
3）少用动态分区，使用distribute by分区。

4.2、对已经存在的小文件做出的解决方案：

1）使用Hadoop archive把小文件进行归档

Hadoop的归档文件格式也是解决小文件问题的方式之一。而且Hive提供了原生支持：

set hive.archive.enabled=true;
set hive.archive.har.parentdir.settable=true;
set har.partfile.size=1099511627776;
alter table srcpart archive partition(ds='2008-04-08', hr='12');
alter table srcpart unarchive partition(ds='2008-04-08', hr='12');

如果使用的不是分区表，则可创建成外部表，并使用har://协议来指定路径。

2）HDFS Federation

Hadoop V2引入了HDFS Federation的概念
实则是将NameNode做了拆分，从而增强了它的扩展性，小文件的问题也能够得到缓解。

2）重建表，建表时减少reduce的数量

3）通过参数调节，设置map/reduce的数量，对于通常的应用，使用Hive结果合并就能达到很好的效果。

设置map输入合并小文件的相关参数：

//每个Map最大输入大小(这个值决定了合并后文件的数量)
set mapred.max.split.size=256000000;
//一个节点上split的至少的大小(这个值决定了多个DataNode上的文件是否需要合并)
set mapred.min.split.size.per.node=100000000;
//一个交换机下split的至少的大小(这个值决定了多个交换机上的文件是否需要合并)
set mapred.min.split.size.per.rack=100000000;
//执行Map前进行小文件合并
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;

设置map输出和reduce输出进行合并的相关参数：

//设置map端输出进行合并，默认为true
set hive.merge.mapfiles = true;
//设置reduce端输出进行合并，默认为false
set hive.merge.mapredfiles = true;
//设置合并文件的大小
set hive.merge.size.per.task = 256*1000*100;
//当输出文件的平均大小小于该值时，启动一个独立的MapReduce任务进行文件merge。
set hive.merge.smallfiles.avgsize=16000000;