Hadoop的默认块大小是多少?为什么要设置这么大?
默认块大小:
Hadoop2.7.2版本及之前默认64MB,Hadoop2.7.3版本及之后默认128M
块大小:
HDFS的块设置太小,会增加寻址时间,程序一直在找块的开始位置,而且NameNode需要大量内存来存储元数据,不可取。如果块设置的太大,从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。导致程序在处理这块数据时,会非常慢。
如果寻址时间约为10ms,而传输速率为100MB/s,为了使寻址时间仅占传输时间的1%,我们要将块大小设置约为100MB。默认的块大小128MB。块的大小:10ms100100M/s=100M,如图
HDFS块的大小设置主要取决于磁盘传输速率