Hadoop2 文件分块为何默认是128M?

Hadoop中HDFS上的文件是分块存储的,在hadoop1.x的版本,分块大小(block_size)默认是64MHadoop2.x的版本中,分块大小默认是128M

为什么要这么设计?

在这里插入图片描述
1)首先NameNode会根据元数据信息进行寻址。假如寻址时间是10ms。
2)寻址时间是数据传输时间的0.01倍时,是最佳状态。所以最佳数据传输时间=10ms / 0.01 = 1000ms = 1s。
3)目前大多磁盘的传输效率为100M/s(和磁盘性能有关)。
4)又因为计算机底层都是二进制存储,取一个2的n次方距离100最近的数,最终取2的7次方,也就是128。

如何自定义block_size?

在hdfs-site.xml配置文件中,加入配置项:

<property>  
<name>dfs.blocksize</name>  
<value>256m</value>  
</property> 
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值