数据block块:是HDFS数据块,一个大文件丢到HDFS上,会被HDFS切分成指定大小的数据块
数据切片(split):数据切片是逻辑概念只是程序在输入数据时对数据进行标记,不会实际切分数据
eg:假设文件大小为300M,切片大小为100M,block为128M,则第一个block会被切成100M+28M,100M给MapTask,剩余的28M需要网络传输给DataNode2,也就是Namenode2需要切分72M,加上28M才是Datanode2上Maptask上需要的数据,以此类推
数据block块:是HDFS数据块,一个大文件丢到HDFS上,会被HDFS切分成指定大小的数据块
数据切片(split):数据切片是逻辑概念只是程序在输入数据时对数据进行标记,不会实际切分数据
eg:假设文件大小为300M,切片大小为100M,block为128M,则第一个block会被切成100M+28M,100M给MapTask,剩余的28M需要网络传输给DataNode2,也就是Namenode2需要切分72M,加上28M才是Datanode2上Maptask上需要的数据,以此类推