Hive合并小文件的配置项

小文件带来的影响

• 文件的数量决定了MapReduce/Spark中Mapper/Task数量，小文件越多，Mapper/Task的任务越多，每个Mapper/Task都会对应启动一个JVM/线程来运行，每个Mapper/Task执行数据很少、个数多，导致占用资源多，甚至这些任务的初始化可能比执行的时间还要多，严重影响性能，当然这个问题可以通过CombinedInputFile和开启JVM重用来解决；
• 但是文件存储在HDFS上，每个文件的元数据信息（位置、大小、分块信息）大约占150个字节，文件的元数据信息会分别存储在内存和磁盘中，磁盘中的fsimage作为冷备安全性保障，内存中的数据作为热备做到快速响应请求（+editslog）。

优化策略

一、启动压缩

set hive.exec.compress.output=true;

set mapreduce.output.fileoutputformat.compress=true; 

二、 启动合并，减少map数

对应参数：

set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;--默认开启
-- 防止map端输入合并小文件（当文件体积很小但是行数很多时。）
SET hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat;

set mapred.max.s