MR高级API

1.待处理的数据是大量的小文件

HDFS设计是用来存储海量数据的,特别适合存储TB,PB量级别的数据.但是随着时间的推移,HDFS上可能会存在大量的小文件,这里说的小文件指的是文件大小远远小于一个HDFS块(128M)的大小;HDFS上存在大量的小文件至少会产生以下影响:

消耗NameNode大量的内存

延迟MapReduce作业的总运行时间

处理大量小文件 1.合并 2.重写 3.CombineTextInputFormat

Hadoop内置提供了一个CombieFileInputFormat类来专门处理小文件,其核心思想是:根据一定的规则,将HDFS上多个小文件合并到一个InputSplit中,然后会启用一个Map来处理这里面的文件,以此减少MR整体作业的运行时间.

CombineTextInputFormat

//1.设置小文件合并成逻辑切片的大小
//合并文件的大小 byte为单位		
conf.setLong("mapreduce.input.fileinputformat.split.minsize", 1024*2);//2M
//2.设置输入类
job.setInputFormatClass(CombineTextInputFormat.class);