B05 - 050、MapTask并行度机制

最新推荐文章于 2024-01-11 21:53:26 发布

会飞还得了

最新推荐文章于 2024-01-11 21:53:26 发布

阅读量150

点赞数

分类专栏： B02、BigData 文章标签： MapTask并行度机制

本文链接：https://blog.csdn.net/weixin_42464054/article/details/92775926

版权

271 篇文章 1 订阅

订阅专栏

注：CSDN手机端暂不支持章节内链跳转，但外链可用，更好体验还请上电脑端。

一、MapTask并行度机制
1.1 MapTask并行度机制概述。
1.2 FileInputFormat 切片机制。

一、MapTask并行度机制

A. 简单地按照文件的内容长度进行切片。
B. 切片大小，默认等于 block 大小。
C. 切片时不考虑数据集整体，而是逐个针对每一个文件单独切片。

file1.txt 320M
file2.txt 10M

file1.txt.split1—0M~128M
file1.txt.split2—128M~256M
file1.txt.split3—256M~320M
file2.txt.split1—0M~10M

在 FileInputFormat 中，计算切片大小的逻辑：
Math.max(minSize, Math.min(maxSize, blockSize));
切片主要由这几个值来运算决定：
minsize：默认值：1
配置参数： mapreduce.input.fileinputformat.split.minsize
maxsize：默认值：Long.MAXValue
配置参数：mapreduce.input.fileinputformat.split.maxsize
blocksize
因此，默认情况下，split size=block size,在 hadoop 2.x 中为 128M。
maxsize（切片最大值）：参数如果调得比 blocksize 小，则会让切片变小，而且就等于配置的这个参数的。
minsize （切片最小值）：参数调的比 blockSize 大，则可以让切片变得比blocksize 还大。
但是，不论怎么调参数，都不能让多个小文件“划入”一个 split。
还有个细节就是：
当 bytesRemaining/splitSize > 1.1 不满足的话，那么最后所有剩余的会作为一个切片。从而不会形成例如 129M 文件规划成两个切片的局面。