说明:
1.Block:当我们把文件上传到HDFS时,文件会被分块,这个是真实物理上的划分。每块的大小可以通过hadoop-default.xml里配置选项进行设置。
2.Split:split是逻辑意义上的split。 通常在 M/R 程序或者其他数据处理技术上用到。根据你处理的数据量的情况,split size是允许用户自定义的。
3.split是MapReduce里的概念(切片),而block是hdfs中切块的大小。
4.split是逻辑切片,block是物理切块。
5.split的大小在默认的情况下和HDFS的block切块大小一样,为了是MapReduce处理的时候减少由于split和block之间大小不一致,可能会完成多余的网络之间的传输。