Hadoop FileInputFormat中切片的大小的参数 运行详解

通过分析源码

在FileInputFormat中，计算切片大小的逻辑：Math.max(minSize, Math.min(maxSize, blockSize));  切片主要由这几个值来运算决定
minsize：默认值：1  
      配置参数： mapreduce.input.fileinputformat.split.minsize    

maxsize：默认值：Long.MAXValue  
    配置参数：mapreduce.input.fileinputformat.split.maxsize

blocksize
因此，默认情况下，切片大小=blocksize

maxsize（切片最大值）：
参数如果调得比blocksize小，则会让切片变小，而且就等于配置的这个参数的值

minsize （切片最小值）：
参数调的比blockSize大，则可以让切片变得比blocksize还大

选择并发数的影响因素：
1、运算节点的硬件配置
2、运算任务的类型：CPU密集型还是IO密集型
运算任务的数据量

hive可以通过set mapred.max.split.size设置分片大小;

 

 

这段逻辑及形成的切片规划描述文件，由FileInputFormat实现类的getSplits()方法完成
1.提交任务时候首先会读取到你的数据在那个目录 例如/datafile/demo.txt 假如(300M)
2.开始遍历处理该目录下所有文件 (规划切片)
3.遍历第