前言
maptask的并行度决定map阶段的任务处理并发度,进而影响到整个job的处理速度
那么,mapTask并行实例是否越多越好呢?其并行度又是如何决定呢?
1 mapTask并行度的决定机制
一个job的mapTask并行度由客户端在提交job时决定。
客户端对map阶段并行度的规划的基本逻辑为:
1. 将待处理数据执行逻辑切片(即按照一个特定切片大小,将待处理数据划分成逻辑上的多个split)
2. 为每一个split分配一个mapTask并行实例处理
这段逻辑及形成的切片规划描述文件,由FileInputFormat实现类的getSplits()方法完成,其过程如下图:
2 FileInputFormat切片机制
1. 切片定义在InputFormat类中的getSplit()方法
2. FileInputFormat中默认的切片机制:
a) 简单