HDFS中Block size的默认大小

最新推荐文章于 2024-04-18 20:05:02 发布
最新推荐文章于 2024-04-18 20:05:02 发布
阅读量1.1w 收藏 1
点赞数 5
分类专栏： Hadoop基础知识

关于block size的默认大小，有的说是64 MB，有的说是128 MB。

那么具体是从哪个版本由64 MB变成128 MB的？有的说是Hadoop 1.X版本是64MB，2.X版本是128MB，有的说Apache Hadoop 是64MB，Clouder Hadoop是128MB。

为了确认上述问题的答案，从Hadoop的官网上看了各个版本的说明文档中关于 Data Blocks 的说明，发现是从2.7.3版本开始，官方关于Data Blocks 的说明中，block size由64 MB变成了128 MB的。

以下是相关连接：

Hadoop 1.2.1 

Hadoop 2.7.2

Hadoop 2.7.3

 

Hadoop 2.9.1

 

fengzhif0001
关注
  • 5
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hdfs-block-reader-experiment
05-25
hdfs块阅读器 Clojure库旨在...好的，这取决于您。 用法 整我 执照 版权所有:copyright:2015 FIXME 根据Eclipse Public License 1.0版或（可选）任何更高版本分发。
HDFS原理
u013222404的博客
07-22 168
因此，每个 datanode 节点要有大容量的磁盘（120T每台），磁盘类型可以是普通的机械硬盘，有条件的话 SSD 硬盘最好（datanode机械硬盘即可，olap才会用ssd，比如kudu+impala，clickhouse），单块硬盘推荐 4T 或者 8T，这些硬盘无需做 RAID，单盘使用即可，因为 HDFS 本身已经有了副本容错机制。对于文件内容而言，一个文件的长度大小是size，那么从文件的0偏移开始，按照固定的大小，顺序对文件进行划分并编号，划分好的每一个块称一个Block。
css中设置元素大小的属性block-size
最新发布
qwguo
04-18 537
的逻辑组合，允许你同时设置元素的最小和最大高度。这些属性旨在让布局不再依赖于传统的物理方向（如上下左右），而是基于逻辑方向（如开始、结束、之前、之后）。这有助于在水平和垂直方向都能更好地控制布局，特别是在多语言环境中，其中文本可能从右到左或从下到上流动。因此，在使用此属性时，建议查阅最新的 CSS 规范并测试不同浏览器的兼容性。属性一起使用，以控制元素的盒模型（包括内容、内边距和边框）如何计算其总大小。是 CSS 中的一个属性，它用于设置元素的块级尺寸（即元素的高度）。
HDFS的block默认存储大小
想练武，就得下功夫
10-25 4676
被问到hadoop的HDFS的block默认存储大小 想都没想直接回答64M 。。。 抱着学习的心态，我们去官网一探究竟 hadoop1.2.1 hadoop2.6.0 hadoop2.7.0 hadoop2.7.2 Data Blocks HDFS is designed to support very large files. Applications that are compatible with HDFS are those that deal with large data set.
HDFS的Block size的默认大小
一缕阳光的博客
06-01 7816
今天无意中听到了同事说关于HDFS中每个block的大小，特意查了下： 从Hadoop的官网上看了各个版本的说明文档中关于 Data Blocks 的说明，发现是从2.7.3版本开始，官方关于Data Blocks 的说明中，block size由64 MB变成了128 MB的。 以下是相关连接： Hadoop 1.2.1 Hadoop 2.7.2 Hadoop 2.7.3 Hadoop 2.9.1 ...
Hadoop的默认块大小是多少？为什么要设置这么大？
qq_44864865的博客
06-16 3095
默认块大小： Hadoop2.7.2版本及之前默认64MB，Hadoop2.7.3版本及之后默认128M 块大小： HDFS的块设置太小，会增加寻址时间，程序一直在找块的开始位置，而且NameNode需要大量内存来存储元数据，不可取。如果块设置的太大，从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。导致程序在处理这块数据时，会非常慢。 如果寻址时间约为10ms，而传输速率为100MB/s，为了使寻址时间仅占传输时间的1%，我们要将块大小设置约为100MB。默认的块大小128MB。块的大小：10m
hdfs中一个block块默认多大？
乔治大哥的博客
10-29 5923
版本不同，默认大小不同。64M、128M都正确。 在Apache Hadoop中默认是64M，Cloudera Hadoop版本中默认是128M。
HDFS中JAVA API的使用
08-30
HDFS是一个分布式文件系统，既然是文件系统，就可以对其文件进行操作，比如说新建文件、删除文件、读取文件内容等操作。下面记录一下使用JAVA API对HDFS中的文件进行操作的过程
HDFS block丢失，导致hadoop进入安全模式的解决方案
08-29
HDFS block丢失hadoop进入安全模式（Safe mode）的解决方法
Hadoop中一些hdfs的命令
04-17
Hadoop中一些hdfs的命令
利用JAVA代码将本地文件传入HDFS中
06-28
nb666
HDFS里Datanode上block大小的设置问题
pear的学习笔记
10-17 6902
上课时和老师讨论到的一个问题，这里是讨论后记录下来的结果，因为网上也很少查到相关讨论这个话题的内容，所以我也不肯定这是否完全是原因，但经仔细思考，下面的几点确实有其存在的合理性 在HDFS里面，data node上的块大小默认是64MB(或者是128MB或256MB) 问题: 为什么64MB(或128MB或256MB)是最优选择？ 为什么不能远少于64MB(或128MB或
Hadoop2 文件分块为何默认是128M？
FlatTiger的博客
02-12 2422
Hadoop中HDFS上的文件是分块存储的，在hadoop1.x的版本，分块大小（block_size）默认是64M，Hadoop2.x的版本中，分块大小默认是128M。 为什么要这么设计？ 1)首先NameNode会根据元数据信息进行寻址。假如寻址时间是10ms。 2)寻址时间是数据传输时间的0.01倍时，是最佳状态。所以最佳数据传输时间=10ms / 0.01 = 1000ms = 1s。 3)目前大多磁盘的传输效率为100M/s（和磁盘性能有关）。 4)又因为计算机底层都是二进制存储，取一个2的n次
完全解析分布式存储，带你了解HDFS的块
好程序员IT教育
11-23 2396
在大数据的学习过程中，我们经常会听到“分布式”这三个字，那个所谓的“分布式”到底是什么意思？我们看到一些古装电视剧电影，在古代，生产力比较低下，没有现在的各种便捷的交通工具。人们需要运输一些货物的时候，最常见的方式就是套马车，用马来拉动车。如果需要拉的货物比较多，一匹马拉不动呢？人们的做法并不是训练一匹更加强壮的马，而是会使用多匹马同时来拉动这辆马车。这就是分布式的思想！那么在程序世界中，单台服务器的能力是有限的，虽然我们可以堆配置来构建一台性能非常强悍的服务器，但是上限还是容易达到的，且成本会非常的高。
Hadoop HDFS 架构学习总结
李玉坤的博客
11-19 381
文章目录HDFS 1.0 架构NameNodeSecondary NameNodeDataNode文件写入过程文件读取过程HDFS 1.0 的问题HDFS 2.0 的 HA 实现FailoverController自动触发主备选举HDFS 脑裂问题第三方存储（共享存储）HDFS 2.0 Federation 实现Federation 架构Federation 的核心设计思想 转载自 https:/...
值得一提：关于 HDFS 的 file size 和 block size
热门推荐
samhacker的专栏
04-07 2万+
一个常被问到的一个问题是： 如果一个HDFS上的文件大小(file size) 小于块大小(block size) ，那么HDFS会实际占用Linux file system的多大空间？ 本文会通过实验分析这个问题。
HDFS概述（2）————Block块大小设置
weixin_30644369的博客
05-24 1610
以下内容转自：http://blog.csdn.net/samhacker/article/details/23089157?utm_source=tuicool&utm_medium=referral http://snglw.blog.51cto.com/5832405/1643587 小文件BLOCK占用 【小于块大小的小文件不会占用整个HDFS块空间。也就是说，较多的...
HDFS中block块大小设置问题
abc37154621的博客
12-26 1万+
在 HDFS 里面， data node 上的块大小默认是 64MB( 或者是 128MB 或 256MB)   问题 :  为什么 64MB( 或 128MB 或 256MB) 是最优选择？        为什么不能远少于 64MB( 或 128MB 或 256MB
HDFS 默认 Block Size的大小是
06-13
HDFS 默认的Block Size大小是128MB。这个大小是可以在HDFS的配置文件中进行修改的，通过修改hdfs-site.xml中的dfs.blocksize属性来实现。Block Size的大小是HDFS的一个重要参数，它直接影响了HDFS的性能和存储效率。如果Block Size设置得太小，会导致存储空间的浪费和NameNode的元数据负担增加；如果Block Size设置得太大，会导致数据读写时的延迟增加。因此，在实际应用中，需要根据具体的场景和需求来合理地设置Block Size的大小。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值