HDFS 块大小设置

• 减少硬盘寻道时间(disk seek time)

  • 假如数据块设置过少，那需要读取的数据块就比较多，由于数据块在硬盘上非连续存储，所以随机寻址较慢，读越多的数据块就增大了总的硬盘寻道时间。当硬盘寻道时间比io时间还要长的多时，那么硬盘寻道时间就成了系统的一个瓶颈。合适的块大小有助于减少硬盘寻道时间，提高系统吞吐量。传输一个由多个块的组成的文件取决于磁盘传输速率。随着新一代磁盘去东区传输速率的提升，块的大小将会被设置的更大

• 减少Namenode内存消耗

  • 对于HDFS，他只有一个Namenode节点，他的内存相对于Datanode来说，是极其有限的。然而，namenode需要在其内存FSImage文件中中记录在Datanode中的数据块信息，假如数据块大小设置过小，而需要维护的数据块信息就会过多，那Namenode的内存可能就受限

• 问题分解问题

  • 块的大小太大的话，一个map任务处理一个块，那任务数就变少了，作业运行速度也就变慢了

转载于:https://www.cnblogs.com/xiangyuguan/p/11313340.html