因为我们的应用中处理的记录都是固定长度的,就是说所有数据都是由固定长度的记录构成的。这里用recordSize表示一个记录的大小,记录在处理处理过程中要保持完整性,所以在设置Split大小时,开始的实现代码为:
int blockSize = Integer.parseInt(args[0]); //args[0]为输入参数,表示用户希望设置的Split大小
int splitSize = blockSize / recordSize * recordSize;
conf.setLong("mapred.max.split.size",splitSize);
后来发现这样做是有问题的。因为splitSize的计算公式未:
splitSize=max(minSize,min(maxSize,blockSize))
其中blockSize为文件块大小。正确的做法如下:
int blockSize = Integer.parseInt(args[0]); //args[0]为输入参数,表示用户希望设置的Split大小
int splitSize = blockSize / recordSize * recordSize;
conf.setLong("mapred.max.split.size",splitSize);
conf.setLong("mapred.min.split.size",splitSize);