hadoop、hive小文件合并

小文件是指文件size小于HDFS上block大小的文件。这样的文件会给hadoop的扩展性和性能带来严重问题。首先，在HDFS中，任何block，文件或者目录在内存中均以对象的形式存储，每个对象约占150byte（元数据的记录），如果有1000 0000个小文件，每个文件占用一个block，则namenode大约需要2G空间。如果存储1亿个文件，则namenode需要20G空间。这样namenode内存容量严重制约了集群的扩展。 其次，访问大量小文件速度远远小于访问几个大文件。HDFS最初是为流式访问大文件开发的，如果访问大量小文件，需要不断的从一个datanode跳到另一个datanode，严重影响性能。最后，处理大量小文件速度远远小于处理同等大小的大文件的速度。每一个小文件要占用一个slot，而task启动将耗费大量时间甚至大部分时间都耗费在启动task和释放task上。

为了提高namenode的使用效率，在向hdfs加载文件时需要提前对小文件进行合并，可以减少namenode的压力，提高机器性能。hadoop提供了CombineFileInputFormat类用来实现合并小文件，常用的实现类包括：

CombineTextInputFormat：用来合并类似于TextInputFormat类型的文件，文本类型

CombineSequenceFileInputFormat：用来合并SequenceFileInputFormat类型的文件，序列化文件

实现代码：

package lpj.combainesmallfile;  
  
import java.io.IOException;  
  
import org.apache.hadoop.conf.Configuration;  
import org.apache.hadoop.fs.FileSystem;  
import org.apache.hadoop.fs.Path;  
import org.apache.hadoop.io.LongWritable;  
import org.apache.hadoop.io.NullWritable;  
import org.apache.hadoop.io.Text;  
import org.apache.hadoop.mapreduce.Job;  
import org.apache.hadoop.mapreduce.Mapper;  
import org.apache.hadoop.mapreduce.lib.input.CombineFileInputFormat;  
import org.apache.hadoop.mapreduce.lib.input.CombineSequenceFileInputFormat;  
import org.apache.hadoop.mapreduce.lib.input.CombineTextInputFormat;  
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;  
  
public class CombaineSmallFile {  
      
    public static void main(String[] args) throws Exception {  
          
        Configuration conf = new Configuration();  
        //设置文件是否压缩  
//      conf.setBoolean("mapred.output.compress", true);    
        Job job = Job.getInstance(conf);  
        job.setJarByClass(CombaineSmallFile.class);  
        job.setMapperClass(CombaineSmallFileMapper.class);  
        job.setOutputKeyClass(Text.class);  
        job.setOutputValueClass(NullWritable.class);  
        //使用  
//      CombineTextInputFormat  
        //文本文件使用CombineTextInputFormat  
        job.setInputFormatClass(CombineTextInputFormat.class);  
        //设置每个合并后文件的大小  
        CombineTextInputFormat.setMaxInputSplitSize(job, 1024*1024*40);  
        //输入路径  
        Path inputPath = new Path("D:\\b\\wdata");  
        Path inputPath1 = new Path("D:\\b\\wdata1");    
        //输出路径  
        Path outputPath = new Path("D:\\b\\wdata_out");    
        FileSystem fs = FileSystem.get(conf);  
        if(fs.exists(outputPath)){    
            fs.delete(outputPath, true);    
        }   
        //指定合并文件路径,可以指定多个输入路径  
        CombineTextInputFormat.setInputPaths(job, inputPath,inputPath1);  
        FileOutputFormat.setOutputPath(job, outputPath);  
        job.setNumReduceTasks(0);  
        boolean isdone = job.waitForCompletion(true);  
        System.exit(isdone ? 0 : 1);  
    }  
    static class CombaineSmallFileMapper extends Mapper<LongWritable, Text, Text, NullWritable>{  
  
        @Override  
        protected void map(LongWritable key, Text value, Context context)  
                throws IOException, InterruptedException {  
            context.write(value, NullWritable.get());//原样输出  
        }  
  
    }  
  
}  

对于hive，如果大量小文件已经存储在hdfs上了，需要进行计算。由于hive的job个数由小文件个数决定，因此在执行hive人去之前，对小文件进行合并非常有必要。

配置Map输入合并

-- 每个Map最大输入大小，决定合并后的文件数
set mapred.max.split.size=256000000;
-- 一个节点上split的至少的大小 ，决定了多个data node上的文件是否需要合并
set mapred.min.split.size.per.node=100000000;
-- 一个交换机下split的至少的大小，决定了多个交换机上的文件是否需要合并
set mapred.min.split.size.per.rack=100000000;
-- 执行Map前进行小文件合并
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;

通过hive参数，进行设置，在进行任务之前进行小文件合并即可