数据切片和MapTask的关系

本文介绍了HDFS中数据块的概念,它是物理存储的单位,默认大小为128M。同时阐述了MapReduce中的数据切片,作为计算的逻辑单位,切片大小可配置,通常与数据块大小一致。每个切片对应一个MapTask执行。理解这两者的关系对于优化大数据处理至关重要。
摘要由CSDN通过智能技术生成

数据切片:数据切片仅仅是在逻辑上对输入内容进行切片,并不是真正在磁盘上将输入内容切分进行存储。数据切片是MapReduce程序计算输入数据的单位,每一个切片会对应启动一个MapTask。默认切片大小与默认块大小一致,为128M。

数据块:块Block是HDFS物理上将数据切分成一块一块进行存储。数据块是HDFS存储数据的单位。默认块大小为128M。

切片的大小和块的大小都可由用户自己配置决定。

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值