一:背景
NLineInputFormat也是FileInputFormat的子类,它是根据行数来划分InputSplit的,而不是像TextInputFormat那样依赖分片大小和行的长度。也就是说,TextInputFormat当一行很长或分片很小时,获取的分片很可能只包含很少的K-V对,这样一个MapTask处理的K-V对就很少,这是不太理想的。因此我们可以使用NLineInputFormat来控制一个MapTask处理的K-V对,这是通过分割InputSplit时按行数分割的方法来实现的,关键是通过mapreduce.input.lineinputformat.linespermap来设置这个行数。
二:技术实现
代码如下:
/**
* TextInputFormat处理的数据来自一个InputSplit,InputSplit是根据大小划分的。
* NLineInputFormat可以决定每个Mapper处理的记录数是相同的。
* @author 廖钟民
* time : 2015年1月15日下午8:40:43
* @version
*/
public class MyNLineInputFormat {
// 定义输入路径
private static final String INPUT_PATH = "hdfs://