MapReduce之片和块的关系

片大小的计算

long splitSize = computeSplitSize(blockSize, minSize, maxSize);
protected long computeSplitSize(long blockSize, long minSize, long maxSize) {
    return Math.max(minSize, Math.min(maxSize, blockSize));
  }

blockSize: 块大小
minSize: minSize从mapreduce.input.fileinputformat.split.minsize和1之间对比,取最大值
maxSize: 读取mapreduce.input.fileinputformat.split.maxsize,如果没有设置,则使用Long.MaxValue作为默认值

默认的片大小就是文件的块大小
文件的块大小默认为128M,默认每片就是128M!

  • 调节片大小 > 块大小:配置 mapreduce.input.fileinputformat.split.minsize > 128M
  • 调节片大小 < 块大小:配置 mapreduce.input.fileinputformat.split.maxsize < 128M

理论上来说:如果文件的数据量是一定的话,

  • 片越大,切片数量少,启动的MapTask少,Map阶段运算慢!
  • 片越小,切片数量多,启动的MapTask多,Map阶段运算快!

片和块的关系

片(InputSplit)

  • 在计算MR程序时,才会切片。片在运行程序时,临时将文件从逻辑上划分为若干部分
  • 使用的输入格式不同,切片的方式不同,切片的数量也不同
  • 每片的数据最终也是以的形式存储在HDFS

块(Block)
在向HDFS写文件时,文件中的内容以块为单位存储!块是实际的物理存在!

建议: 片大小最好等于块大小!

因为将片大小设置和块大小一致,可以最大限度减少因为切片带来的磁盘IO和网络IO

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

孙晨c

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值