Hive小文件合并

Hive迁移数据时发现大量小文件，严重影响Hive执行效率，在这里记录下小文件合并的问题。

小文件产生的原因

执行MapReduce任务时，通过会作一些优化，比如增加Reduce并行度来提升计算效率。而Reduce的增多意味着输出结果文件的增多，所以会产生小文件问题。

 

小文件产生的问题

NameNode存储元数据信息，包括HDFS的抽象目录树结构，存储数据和block分块对应关系、位置、大小等，启动时会加载到内存。每个存储对象大约150字节，所以当文件达到千万级时，内存中的元数据达到3G以上，NameNode的性能就会受影响。

HDFS文件读写时，会先向NameNode获取元数据信息，再通过元数据找到block对应的DataNode进行文件读写，大量的小文件会导致HDFS的读写受到影响。

执行Hive任务时，每个文件执行一个MapTask，小文件数据过多，会导致大量MapTask的不断启动和初始化，这样时间远远大于逻辑处理时间，导致Hive任务时间太长，造成资源浪费，甚至oom。执行Hive任务时，如果发现数据量不大但是任务数很多时，应该注意在Map的输入进行小文件合并。

 

Hive优化方式

1. 输入合并，也就是在Hive读取文件时进行小文件合并，减少Map数量，。

2. 输出合并，在MapReduce输出结果时进行小文件合并。

3. JVM重用，一个Container中运行多个MapTask，减少Container开启和注销时间。

 

输入合并

# 设置Hive输入,执行map前进行小文件合并
# 设置后,DataNode上多个小文件会进行合并，合并文件数由mapred.max.split.size决定
set hive.input.format=org.apache.hadoop.hive.al.io.CombineHiveInputFormat;

# 每个MapTask最大文件大小
set mapred.max.split.size=256000000;

# 节点上最小分片大小
# 如果输入文件在一个节点上多个block的总和,大于这个值则创建一个split,每个节点最多开启一个split
# 小于则将块用于机架设置值进行计算
set mapred.min.split.size.per.node=100000000;

# 机架上最小分片大小,决定不同机架的DataNode上文件是都进行合并
# 对同一机架上多个DataNode的小于节点设置值的块总和进行计算,大于这个值创建split
# 小于则进行多个机架计算
set mapred.min.split.size.per.rack=100000000;

输出合并

# map结束时合并小文件,默认开启
set hive.merge.mapredfiles=true;

# 输出结果时合并,默认关闭
set hive.merge.mapfiles=true;

# 小于这个值会开启一个独立的mapreduce任务进行小文件合并,默认16m
set hive.merge.smallfiles.avgsize=16000000;

## 合并后的文件大小,默认256m,推荐128m,一个hdfs分块的大小
set hive.merge.size.per.task=256000000;

JVM重用

set mapred.job.jvm.num.tasks

 

CDH中Hive小文件合并设置

输入时设置 Hive -> hive-site.xml 客户端

输出时设置 Hive -> 搜索 merge