Hadoop中的NLineInputFormat

一：背景

NLineInputFormat也是FileInputFormat的子类，它是根据行数来划分InputSplit的，而不是像TextInputFormat那样依赖分片大小和行的长度。也就是说，TextInputFormat当一行很长或分片很小时，获取的分片很可能只包含很少的K-V对，这样一个MapTask处理的K-V对就很少，这是不太理想的。因此我们可以使用NLineInputFormat来控制一个MapTask处理的K-V对，这是通过分割InputSplit时按行数分割的方法来实现的，关键是通过mapreduce.input.lineinputformat.linespermap来设置这个行数。

二：技术实现

代码如下：

/**
 * TextInputFormat处理的数据来自一个InputSplit，InputSplit是根据大小划分的。
 * NLineInputFormat可以决定每个Mapper处理的记录数是相同的。
 * @author 廖钟民
 * time : 2015年1月15日下午8:40:43
 * @version
 */
public class MyNLineInputFormat {
	
	// 定义输入路径
		private static final String INPUT_PATH = "hdfs://