在 hdfs 架构中,存在 blocks 的概念。 通常来说,hdfs中的一个block 是 64MB 。
1.简单来说,split只是一个概念上的切片,他单单存在与虚拟之中,而block是物理上的分割,他将你储存的数据进行了分割。
2.为了MapReduce处理的时候减少由于split和block之间大小不一致,可能会完成多余的网络之间的传输split的大小在默认的情况下和HDFS的block切块大小一致,
3.数据切片: 数据切片是逻辑概念,只是程序在输入数据的时候对数据进行标记,不会实际切分磁盘数据。
HDFS的block和切片的区别
最新推荐文章于 2023-05-12 20:48:15 发布