小文件是指文件size小于HDFS上block大小的文件。这样的文件会给hadoop的扩展性和性能带来严重问题。首先,在HDFS中,任何block,文件或者目录在内存中均以对象的形式存储,每个对象约占150byte(元数据的记录),如果有1000 0000个小文件,每个文件占用一个block,则namenode大约需要2G空间。如果存储1亿个文件,则namenode需要20G空间。这样namenode内存容量严重制约了集群的扩展。 其次,访问大量小文件速度远远小于访问几个大文件。HDFS最初是为流式访问大文件开发的,如果访问大量小文件,需要不断的从一个datanode跳到另一个datanode,严重影响性能。最后,处理大量小文件速度远远小于处理同等大小的大文件的速度。每一个小文件要占用一个slot,而task启动将耗费大量时间甚至大部分时间都耗费在启动task和释放task上。
为了提高namenode的使用效率,在向hdfs加载文件时需要提前对小文件进行合并,可以减少namenode的压力,提高机器性能。hadoop提供了CombineFileInputFormat类用来实现合并小文件,常用的实现类包括:
CombineTextInputFormat:用来合并类似于TextInputFormat类型的文件,文本类型
CombineSequenceFileInputFormat:用来合并SequenceFileInputFormat类型的文件,序列化文件
实现代码:
package lpj.combainesmallfile;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.input.CombineFileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.CombineSequenceFileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.CombineTextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
public class CombaineSmallFile {
public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
//设置文件是否压缩
// conf.setBoolean("mapred.output.compress", true);
Job job = Job.getInstance(conf);
job.setJarByClass(CombaineSmallFile.class);
job.setMapperClass(CombaineSmallFileMapper.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(NullWritable.class);
//使用
// CombineTextInputFormat
//文本文件使用CombineTextInputFormat
job.setInputFormatClass(CombineTextInputFormat.class);
//设置每个合并后文件的大小
CombineTextInputFormat.setMaxInputSplitSize(job, 1024*1024*40);
//输入路径
Path inputPath = new Path("D:\\b\\wdata");
Path inputPath1 = new Path("D:\\b\\wdata1");
//输出路径
Path outputPath = new Path("D:\\b\\wdata_out");
FileSystem fs = FileSystem.get(conf);
if(fs.exists(outputPath)){
fs.delete(outputPath, true);
}
//指定合并文件路径,可以指定多个输入路径
CombineTextInputFormat.setInputPaths(job, inputPath,inputPath1);
FileOutputFormat.setOutputPath(job, outputPath);
job.setNumReduceTasks(0);
boolean isdone = job.waitForCompletion(true);
System.exit(isdone ? 0 : 1);
}
static class CombaineSmallFileMapper extends Mapper<LongWritable, Text, Text, NullWritable>{
@Override
protected void map(LongWritable key, Text value, Context context)
throws IOException, InterruptedException {
context.write(value, NullWritable.get());//原样输出
}
}
}
对于hive,如果大量小文件已经存储在hdfs上了,需要进行计算。由于hive的job个数由小文件个数决定,因此在执行hive人去之前,对小文件进行合并非常有必要。
配置Map输入合并
-- 每个Map最大输入大小,决定合并后的文件数
set mapred.max.split.size=256000000;
-- 一个节点上split的至少的大小 ,决定了多个data node上的文件是否需要合并
set mapred.min.split.size.per.node=100000000;
-- 一个交换机下split的至少的大小,决定了多个交换机上的文件是否需要合并
set mapred.min.split.size.per.rack=100000000;
-- 执行Map前进行小文件合并
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;
通过hive参数,进行设置,在进行任务之前进行小文件合并即可