hadoop、hive小文件合并

  小文件是指文件size小于HDFS上block大小的文件。这样的文件会给hadoop的扩展性和性能带来严重问题。首先，在HDFS中，任何block，文件或者目录在内存中均以对象的形式存储，每个对象约占150byte（元数据的记录），如果有1000 0000个小文件，每个文件占用一个block，则namenode大约需要2G空间。如果存储1亿个文件，则namenode需要20G空间。这样namenode内存容量严重制约了集群的扩展。 其次，访问大量小文件速度远远小于访问几个大文件。HDFS最初是为流式访问大文件开发的，如果访问大量小文件，需要不断的从一个datanode跳到另一个datanode，严重影响性能。最后，处理大量小文件速度远远小于处理同等大小的大文件的速度。每一个小文件要占用一个slot，而task启动将耗费大量时间甚至大部分时间都耗费在启动task和释放task上。

为了提高namenode的使用效率，在向hdfs加载文件时需要提前对小文件进行合并，可以减少namenode的压力，提高机器性能。hadoop提供了CombineFileInputFormat类用来实现合并小文件，常用的实现类包括：

CombineTextInputFormat：用来合并类似于TextInputFormat类型的文件，文本类型

CombineSequenceFileInputFormat：用来合并SequenceFileInputFormat类型的文件，序列化文件

实现代码：

package lpj.combainesmallfile;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.input.CombineFileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.CombineSequenceFileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.CombineTextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class CombaineSmallFile {
	
	public static void main(String[] args) throws Exception {
		
		Configuration conf = new Configuration();
		//设置文件是否压缩
//		conf.setBoolean("mapred.output.compress", true);  
		Job job = Job.getInstance(conf);
		job.setJarByClass(CombaineSmallFile.class);
		job.setMapperClass(CombaineSmallFileMapper.class);
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(NullWritable.class);
		//使用
//		CombineTextInputFormat
		//文本文件使用CombineTextInputFormat
		job.setInputFormatClass(CombineTextInputFormat.class);
		//设置每个合并后文件的大小
		CombineTextInputFormat.setMaxInputSplitSize(job, 1024*1024*40);
		//输入路径
		Path inputPath = new Path("D:\\b\\wdata");
		Path inputPath1 = new Path("D:\\b\\wdata1");  
		//输出路径
        Path outputPath = new Path("D:\\b\\wdata_out");  
        FileSystem fs = FileSystem.get(conf);
        if(fs.exists(outputPath)){  
            fs.delete(outputPath, true);  
        } 
        //指定合并文件路径,可以指定多个输入路径
        CombineTextInputFormat.setInputPaths(job, inputPath,inputPath1);
		FileOutputFormat.setOutputPath(job, outputPath);
		job.setNumReduceTasks(0);
		boolean isdone = job.waitForCompletion(true);
		System.exit(isdone ? 0 : 1);
	}
	static class CombaineSmallFileMapper extends Mapper<LongWritable, Text, Text, NullWritable>{

		@Override
		protected void map(LongWritable key, Text value, Context context)
				throws IOException, InterruptedException {
			context.write(value, NullWritable.get());//原样输出
		}

	}

}

对于hive，如果大量小文件已经存储在hdfs上了，需要进行计算。由于hive的job个数由小文件个数决定，因此在执行hive人去之前，对小文件进行合并非常有必要。

set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat ：设置Inputformat。
set mapred.max.split.size=256000000：用来设置每个Map最大的输入大小。
set mapred.min.split.size.per.node=100000000：用来设置每个map中从一个node读取的最小数据量。合并的时候，会优先把一个node下的数据合并到一个split里，这样比较容易保证数据节点和计算节点本地行。

set mapred.min.split.size.per.rack=100000000：用来设置每个map中从一个机架上读取的最小数据量。如果没法保证一个split中数据尽量在一个node上，会尽量保证数据在一个机架上。

通过hive参数，进行设置，在进行任务之前进行小文件合并即可