HDFS的Block块为什么设置为128M

最新推荐文章于 2021-12-13 17:03:53 发布
最新推荐文章于 2021-12-13 17:03:53 发布
阅读量611 收藏 2
点赞数 1
分类专栏： 大数据 文章标签： hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38023225/article/details/100572757
版权

这个主要是磁盘寻址时间和数据传输时间决定的。

目前，我们磁盘普遍寻址时间是10ms,磁盘的传输速率普遍为100MB/s

通过验证，当磁盘寻址时间为数据传输时间的1%的时候，状态是最佳的。

通过计算最佳传输时间=10ms/0.01=1s,进一步计算出Block块大小=1s*100MB=100MB,而我们磁盘block块的大小都是2^n倍

所以最合适的大小就是128MB.

 

月正明
关注
专栏目录
HDFS块大小为何是128MB ? block.size
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
01-27 1581
块大小取决于dfs.blocksize，2.x默认为128M，1.x默认为64M（128M指的是块的最大大小！每个块最多存储128M的数据，如果当前块存储的数据不满128M，存了多少数据，就占用多少的磁盘空间！一个块只属于一个文件！）   默认为128M的原因，基于最佳传输损耗理论！   不论对磁盘的文件进行读还是写，都需要先进行寻址！   最佳传输损耗理论：在一次传输中，寻址时间占用总传输时间的1%时，本次传输的损耗最小，为最佳性价比传输！   目前硬件的发展条件，普通磁盘写的速率大概为100M/
hdfs为什么不适合存储小文件？block块为什么设置为128MB?
qq_42639540的博客
06-02 1748
hdfs为什么不适合存储小文件？ 小文件多小？一般小于128mb 1、小文件过多，会过多占用namenode的内存，并浪费block。 文件的元数据（包括文件被分成了哪些blocks，每个block存储在哪些服务器的哪个block块上），都是存储在namenode上的。 HDFS的每个文件、目录、数据块占用150B，因此300M内存情况下，只能存储不超过300M/150=2M个文件/目录/数据块的元数据 dataNode会向NameNode发送两种类型的报告：增量报告和全量报告。 增量报告是当dataN
为什么HDFS文件块（block）大小设定为128M
行走的树
12-13 6121
我们在HDFS中存储数据是以块（block）的形式存放在DataNode中的，块（block）的大小可以通过设置dfs.blocksize来实现； 在Hadoop2.x的版本中，文件块的默认大小是128M，老版本中默认是64M； 寻址时间：HDFS中找到目标文件块（block）所需要的时间。 原理： 文件块越大，寻址时间越短，但磁盘传输时间越长； 文件块越小，寻址时间越长，但磁盘传输时间越短。 一、为什么HDFS中块（block）不能设置太大，也不能设置太小？ 如果块设置过大， 一方面，从磁盘传输数
为什么HDFS文件块（block）大小设定为128M解析.
张伯毅的专栏
10-11 1万+
Table of Contents 一.前言 二. block 大小设置原则：最小化寻址开销,减少网络传输. 三、为什么HDFS中块（block）不能设置太大，也不能设置太小？ 四、 HDFS中块（block）的大小为什么设置为128M？ 一.前言 HDFS中存储数据是以块（block，这只是一个逻辑概念）的形式存储在DataNode，block大小可通过设置HADOOP_HOME/etc/hadoop/hdfs-site.xml中dfs.blocksize实现（设置时先stop集群，修改.
HDFS文件块为什么设置为128M?
xiaozhuangyumaotao的博客
07-16 844
一HDFS概念 1.1概念 HDFS，它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。 HDFS的设计适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用。 1.2组成 1）HDFS集群包括，NameNode和DataNode以及Secondary Namenode。 2）NameNode负责管理整个文件系统的元数据，以及每一个路径（文件）所对应的数据块信息。 3...
HDFS为什么块大小设置为128M，不能更大也不能更小
chushouxiu0552的博客
03-08 1166
block数据块是HDFS文件系统基本的存储单位 block（块）128M 小于一个块的文件，不会占据整个块的空间 block数据块大小设置较大的原因： 1）减少文件寻址时间 2）减少管理块的数据开销，每个块都需要在NameNode上有对应的记录 3）对数据块进行读...
hadoop之HDFS设置BLOCK块大小
weixin_40645193的博客
10-18 2581
hdfs-site.xml(每次修改后需要重启hdfs,并且分发所有节点) dfs.replication 3 dfs.blocksize 10 新文件的默认块大小(以字节为单位)。 你可以使用以下后缀(不区分大小写): k(千)，m(百万)，g(千)，t(翅目)，p(peta)， e(exa)指定大小(如128k, 512m, 1g等)， 或者提供完整的字节大小(例如128mb的134217728)。 注：这一段如果不加的话会报错 dfs.namenode.fs-limits.min-bl
大数据-HDFS 文件副本和 Block 块存储
逍遥云恋
12-23 1117
1.4. HDFS 文件副本和 Block 块存储 所有的文件都是以 block 块的方式存放在 HDFS 文件系统当中, 在 Hadoop1当中, 文件的 block 块默认大小是 64M, hadoop2 当中, 文件的 block块大小默认是 128M, block 块的大小可以通过 hdfs-site.xml当中的配置文件进行指定 <property> &lt...
HDFS中block的大小
liu_yu_ran的博客
09-09 963
block的大小与修改 Hadoop2.x/3.x版本中Block的默认大小为128M，在1.x的版本中默认为64M，开发人员可以在hdfs-site.xml中添加如下标标签进行修改。 <!-- hdfs-site.xml --> <property> <name>dfs.blocksize</name> #value值代表block块的大小 <value>256m</value> </property> H
HDFS中block设置128M的原因
weixin_30566111的博客
09-14 212
现在记录一下为什么HDFS上一个block设置128M，参考了博客进行理解。 block块为什么设置的比较大 这是一个经典的面试题，需要从性能和储存上来考虑。 传输性能上考虑 在硬盘上读取数据就是一个个的扇区读取的，读取的最小单位是扇区sector，一个扇区大小一般为512byte，如果要读取到一个数据，需要完成寻址操作和读取操作，就首先找到数据存储的地方，让磁头找到要读取的扇区，然后读...
[hadoop] hdfs的block块大小为什么是128MB
朱同学的博客
11-13 2710
block块大小的设置: HDFS中的文件在物理上是分块存储（Block），块的大小可以通过配置参数( dfs.blocksize)来规定，默认大小在Hadoop2.x版本中是128M，老版本中是64M。 为什么是128MB: 块的大小与磁盘传输速率有关. 一般hdfs的寻址时间为10ms左右. 当寻址时间为传输时间的1%时为最佳状态,因此传输时间大概在1s左右. 机械硬盘文件顺序读写的速度为10...
HDFS Block块大小限定依据及原则
GSpinach的博客
08-17 9117
@Author : Spinach | GHB @Link : http://blog.csdn.net/bocai8058 文章目录前言 前言
HDFS文件块大小为什么是128M？（重点）
Sun's Blog
07-07 3597
HDFS中的文件在物理上是分块存储（Block），块的大小可以通过配置参数(dfs.blocksize）来规定，默认大小在Hadoop2.x版本中是128M，老版本中是64M。 那么，问题来了，为什么一个block的大小就是128M呢？ 默认为128M的原因，基于最佳传输损耗理论！ 不论对磁盘的文件进行读还是写，都需要先进行寻址！ 最佳传输损耗理论：在一次传输中，寻址时间占用总传输时间的1%时，本次传输的损耗最小，为最佳性价比传输！ 目前硬件的发展条件，普通磁盘写的速率大概为100M/S, 寻址时间一般
一篇讲懂为什么HDFS文件块（block）大小设定为128M
热门推荐
攻城狮Kevin
11-19 1万+
最近看到这个面试问题，CSDN搜了半天也没有确切答案，查询资料思考后总结如下： 我们在HDFS中存储数据是以块（block）的形式存放在DataNode中的，块（block）的大小可以通过设置dfs.blocksize来实现； 在Hadoop2.x的版本中，文件块的默认大小是128M，老版本中默认是64M； 目录 一、为什么HDFS中块（block）不能设置太大，也不能设置太小？ 二、 ...
HDFS块大小默认为什么是64MB(或者是128MB）
JacksonKing的专栏
05-07 4809
HDFS块大小默认为什么是64MB(或者是128MB） 1 HDFS的设计特点？ 可以进行超大文件存储 对商用硬件要求不高 式数据访问：适合一次写入，多次读出的场景，适合用来做数据分析，并不适合用来做网盘应用等文件系统。 HDFS只支持单个写入者，而且文件的写入只能以“添加”方式在文件末尾写数据。 因为namenode的原因，不适合大量小文件的存储。 数据访问的延迟相对较高，不适合进行...
为什么HDFS一个块的大小是64MB
cc06208的博客
10-16 2677
块的大小设置原则：最小化寻址开小。  块越大寻址时间越短，  传输一个由多个块的组成的文件取决于磁盘传输速率。如寻址时间约为10ms，传输速率为100MB/S，为了使寻址时间仅占传输时间的1%，块的大小设置约为100MB，默认大小是64MB，现在在实际身缠中都是128MB了，随着新一代磁盘去东区传输速率的提升，块的大小将会被设置的更大。 注意：块的大小太大的话，一个map任务处理一个块，那任
一个76m的文件存储在hdfs中，客户端设置block文件大小为64m，该文件占用几个block？
最新发布
07-14
根据您提供的信息，一个76MB的文件存储在HDFS中，客户端设置的每个block文件大小为64MB。根据HDFS的默认块大小为128MB，因此我们需要计算这个文件所占用的块数量。 由于每个块的大小为64MB，76MB的文件将需要占用两...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值