1.split
文件不可分割,一个文件一个split。通常一个split就是一个block,split size是允许用户自定义的,有多少个split,就有多少个mapper。
2.HDFS的block
block的划分是物理划分,每块的大小可以通过hadoop进行设置,是实际的文件大小,而非一个块的大小。Block 非常适合用于数据备份,进而提供数据容错能力和可用性。分布式文件系统中数据块一般远大于磁盘数据块的大小,并且为磁盘块大小的整数倍。
1.split
文件不可分割,一个文件一个split。通常一个split就是一个block,split size是允许用户自定义的,有多少个split,就有多少个mapper。
2.HDFS的block
block的划分是物理划分,每块的大小可以通过hadoop进行设置,是实际的文件大小,而非一个块的大小。Block 非常适合用于数据备份,进而提供数据容错能力和可用性。分布式文件系统中数据块一般远大于磁盘数据块的大小,并且为磁盘块大小的整数倍。