HDFS的block和切片（split）的区别

HDFS以固定大小的block为基本单位存储数据（分布式文件系统，实际存储角度，物理存储单位）；

MapReduce以split作为处理单位（编程模型角度，逻辑单位）；

hadoop在默认的情况下，split和hdfs的block的大小是一样的。

HDFS的block：

在 hdfs 架构中，存在 blocks 的概念。 通常来说，hdfs中的一个block 是 64MB 。 当我们把一个大文件导入hdfs中的时候，文件会按 64MB 每个block来分割（版本不同，默认配置可能不同）。 如果你有1GB的文件要存入HDFS中， 1GB/64MB = 1024MB / 64MB = 16 个blocks 会被分割到不同的datanode上。

切片（split）：

split 是逻辑意义上的split。 通常在 M/R 程序或者其他数据处理技术上用到。根据你处理的数据量的情况，split size是允许用户自定义的。

split size 定义好了之后，可以控制 M/R 中 Mapper 的数量。如果M/R中没有定义 split size ， 就用 默认的HDFS配置作为 input split。
 

应用：（引用于时光在路上的博客）

你有个100MB的文件，block size 是 64MB ， 那么就会被split成 2 块。这时如果你你没有指定 input split ， 你的M/R程序就会按2个input split 来处理 ， 并分配两个mapper来完成这个job。

-但如果你把 split size 指定为 100MB，那么M/R程序就会把数据处理成一个 split，这时只用分配一个mapper 就可以了。

-但如果你把split size 指定为 25MB，M/R就会将数据分成4个split，分配4个mapper来处理这个job。