maptask指的是在mapreduce运行过程中为每一个数据切片分配的数据运算实例任务。maptask的并行度也就指的是运算任务实例的数量,影响整个job的处理速度。
切片与maptask并行度的决定机制
**数据块:**Block是HDFS物理上把数据分成一块一块。
**数据切片:**数据切片只是在逻辑上对输入进行分片,并不会在磁盘上将其切分成片进行存储。
对于一个要处理的文件数据map框架有默认的切片大小,一般默认为blocksize的大小,在分配maptask运算任务实例的时候对每一个数据切片分配一个maptask,这样的话若一个文件的大小没有达到blocksize的大小的时候(比如说文件大小只有1k),那当然就会为了减少资源浪费默认分配一个maptask。
- 一个job的map阶段有客户端在提交job时的切片数决定。
- 每一个数据切片,split切片分配一个maptask实例处理。
- 默认情况下切片大小默认为blocksize。(如果说不是blocksize的话,与datanode中存储的数据块大小不相符,那么在maptask阶段,就需要进行datanode之间的数据传输,大大增加了io操作耗费的时间。)
- 切片时不考虑数据集整体,而是逐个对每一个文件进行切片。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-CKgHYqus-1603113650855)(https://s1.ax1x.com/2020/10/13/0fLXLD.png)]