HDFS中每个块的大小以及为什么是128MB —— 深入理解Hadoop分布式文件系统的核心设计

最新推荐文章于 2025-05-14 10:20:58 发布
最新推荐文章于 2025-05-14 10:20:58 发布
阅读量717 收藏 10
点赞数 27
文章标签： hadoop hdfs 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Kiss1024b/article/details/147933344
版权

HDFS中每个块的大小以及为什么是128MB —— 深入理解Hadoop分布式文件系统的核心设计

​ 随着大数据时代的到来，数据量呈爆炸式增长，传统的文件系统难以满足对大规模数据存储与处理的需求。为了解决这一问题，Apache Hadoop 应运而生，其中最核心的模块之一就是 HDFS（Hadoop Distributed File System）。HDFS 采用“分布式存储”的方式，将大文件拆分为多个数据块（Block）分布存储在多个节点上，从而实现高可靠性和高吞吐量。

​ 在 HDFS 中，“块”的大小是一个至关重要的设计参数，直接影响系统的性能、可靠性和可扩展性。默认情况下，HDFS 的块大小为 128MB（Hadoop 2.x 及以后版本），而这一设计并非偶然选择，而是经过大量工程实践与理论分析得出的最优解。

在这里插入图片描述

本文将围绕以下几个方面，深入探讨 HDFS 的块大小设计及其背后的原理：

  • 块在 HDFS 中的定义与作用

  • 块大小从64MB到128MB的演进历程

  • 为什么选择128MB：从系统性能、I/O效率、NameNode内存消耗、容错能力等方面分析

  • 块大小与 MapReduce 作业性能的关系

  • 块大小设置的可调性与实际生产环境配置建议

  • 与其他分布式存储系统对比

二、HDFS中的块：定义与作用

1. 什么是块（Block）

在传统文件系统中，文件被划分为若干小块（如4KB）存储在磁盘上。但在 HDFS 中，块的单位远大于传统文件系统，默认大小为 128MB。这些块不是物理磁盘块，而是逻辑块，由 HDFS 管理。

一个大文件在上传到 HDFS 时，会被切分成多个块，分别存储在不同的 DataNode 上，并由 NameNode 维护每个块的元数据（位置、副本等信息）。

在这里插入图片描述

2. 块的作用

  • 便于大文件的分布式存储与处理
  • 实现数据并行处理（如 MapReduce）
  • 提供容错机制（多副本）
  • 降低单点故障风险

三、块大小的演进历程

1. Hadoop 1.x：默认64MB

最早期的 Hadoop 版本中，默认块大小为 64MB。当时硬件资源有限、网络带宽较小，64MB 被认为是一个合理的选择，兼顾了并行处理和系统资源占用。

2. Hadoop 2.x 及以后：默认128MB

随着硬件发展，尤其是磁盘吞吐量与网络带宽的提升，64MB 渐渐不能满足大规模数据处理的需求。从 Hadoop 2.x 开始，块大小默认值提升到 128MB，以适应更高性能的数据处理场景。

四、为什么HDFS选择128MB作为默认块大小

HDFS 之所以选择128MB作为默认块大小，主要考虑了以下几个方面：

1. 减少 NameNode 的内存开销

NameNode 是 HDFS 的元数据中心，它负责记录每个文件的块信息。每一个块在内存中都需要占用一定的空间（约150字节/块）。如果块太小，则会显著增加 NameNode 的内存负担。

示例对比：

块大小存储1TB数据需要的块数NameNode元数据总量（估算）
64MB~16,000块~2.4MB
128MB~8,000块~1.2MB
256MB~4,000块~600KB

2. 提高数据传输效率（减少磁盘和网络I/O频率）

较大的块意味着：

  • 每次传输的数据量大，网络连接建立频率少
  • 减少磁盘查找次数，提升顺序读写效率

在大数据场景中，顺序读写远远优于随机读写，大块数据能更好地发挥磁盘吞吐能力。

3. 提高 MapReduce 性能

在 MapReduce 中，每个块通常对应一个 Mapper。块太小意味着 Mapper 数量过多，导致：

  • 作业启动、调度开销变大
  • 集群负载不均衡
  • 整体执行时间增加

较大的块可使作业调度更高效，每个 Mapper 能处理更多数据。

4. 减少元数据通信开销

客户端在读取文件时，需要首先从 NameNode 获取块位置信息。块数量越多，需要的通信次数越多，网络开销越大。128MB 能在块数量和通信频率之间找到平衡点。

5. 更好地支持容错机制

HDFS 默认每个块有3个副本。块越小，副本总数量越多，意味着副本维护、复制、同步的成本更高。而大块减少了副本数量，提高了副本调度效率。

五、块大小与MapReduce作业的关系

1. 块大小决定Mapper数量

MapReduce 框架按块划分输入分片（InputSplit）。通常，一个块对应一个Mapper。块小→Mapper多→作业调度复杂，反之则简化调度过程。

2. 大块提升处理效率

大块使得每个 Mapper 能充分发挥其 CPU 和 I/O 能力，避免频繁切换任务，提高任务处理效率。

3. 结合数据本地性（Data Locality）

MapReduce 会尽量将计算调度到数据本地节点上运行，大块数据能使本地化调度效果更显著，减少网络传输。

六、块大小设置的灵活性

1. 配置方式

HDFS 块大小可以通过以下方式设置：

xml复制编辑<!-- hdfs-site.xml -->
<property>
  <name>dfs.block.size</name>
  <value>134217728</value> <!-- 128MB -->
</property>

也可以在上传文件时通过命令行指定：

bash


复制编辑
hadoop fs -Ddfs.block.size=268435456 -put bigfile.txt /user/hdfs/

2. 实际应用中的块大小选择建议

文件大小建议块大小原因说明
小于500MB64MB减少资源浪费
500MB - 1GB128MB默认值适用，大多数场景通用
大于1GB256MB+减少块数量，提高处理效率
TB级别大文件512MB~1GB进一步减小NameNode负担

七、与其他分布式存储系统的块大小对比

系统默认块大小特点说明
HDFS128MB平衡I/O与元数据，适合大数据处理
Amazon S3N/A面向对象存储，按Key存取
Google GFS64MB最早的分布式文件系统设计之一
Alluxio512MB面向内存加速场景，块更大
Ceph可配置块对象灵活，适合多种存储需求

面向对象存储，按Key存取 |
| Google GFS | 64MB | 最早的分布式文件系统设计之一 |
| Alluxio | 512MB | 面向内存加速场景，块更大 |
| Ceph | 可配置 | 块对象灵活，适合多种存储需求 |

Kiss1024b
关注
大数据｜HDFS分布式文件系统
知识库搭建ing
03-07 3847
大数据｜HDFS分布式文件系统
摸鱼大数据——Hadoop基础理论知识之分布式和集群、框架、HDFS
weixin_65694308的博客
05-22 1246
Hadoop简介:是Apache旗下的一个用Java语言实现开源软件框架，是一个存储和计算大规模数据的软件平台。Hadoop起源: Doug Cutting 创建的，最早起源一个Nutch项目。三驾马车: 谷歌的三遍论文加速了hadoop的研发Hadoop框架意义: 作为大数据解决方案，越来越多的企业将Hadoop 技术作为进入大数据领域的必备技术。​狭义上来说:Hadoop指Apache这款开源框架，它的核心组件有：HDFS,MR,YANR。
【Hadoop大数据技术】——HDFS分布式文件系统（学习笔记）
HinsCoder的博客
03-07 4928
在NameNode内部是以元数据的形式，维护着两个文件，分别是FsImage镜像文件和EditLog日志文件。其中，FsImage镜像文件用于存储整个文件系统命名空间的信息，EditLog日志文件用于持久化记录文件系统元数据发生的变化。当NameNode启动的时候，FsImage镜像文件就会被加载到内存中，然后对内存里的数据执行记录的操作，以确保内存所保留的数据处于最新的状态，这样就加快了元数据的读取和更新操作。。
Hadoop——（分布式文件系统HDFS，HDFS 组织架构，HDFS核心机制，HDFS文件块，HDFS文件块）
qq_43408367的博客
04-09 879
HDFS 中的文件在物理上是分块存储（block）的，block的大小可以通过配置参数来规定；设置的副本数只是记录在NameNode的元数据中，是否真的会有这么多副本，还得看DataNode的数量。-getmerge：合并下载多个文件，比如HDFS的目录 /user/atguigu/test下有多个文件:log.1, log.2,log.3,…：等同于copyToLocal，就是从HDFS下载文件到本地:`：Linux文件系统中的用法一样，修改文件所属权限。：从本地文件系统中拷贝文件到HDFS路径去。
Hadoop核心技术——HDFS分布式文件系统
lzw082的博客
06-14 712
在大数据的浪潮中，Hadoop凭借其强大的数据处理能力成为了业界的佼佼者。而Hadoop分布式文件系统（HDFS）作为Hadoop的核心组件之一，为大数据存储提供了坚实的基础。master下达命令，DataNode执行操作存储实际的数据块，执行数据块的读/写操作。辅助NameNode进行元数据的合并操作，但并非NameNode的热备，管理文件系统的元数据，如文件目录结构、文件与数据块的映射关系等。管理HDFS的命名空间，配置副本策略，处理客户端读写请求，存储实际的数据块，并执行数据的读写操作，
大数据入门（二）Hadoop分布式文件系统——HDFS简介
qq_37771475的博客
05-13 2584
1. HDFS是什么
【Hadoop大数据技术】——HDFS分布式文件系统（学习笔记(2)
2401_84160087的博客
04-28 935
(1)“/usr/local/hadoop/share/hadoop/common”目录下的所有JAR包，包括hadoop-common-3.3.5.jar、hadoop-common-3.3.5-tests.jar、haoop-nfs-3.3.5.jar、haoop-kms-3.3.5.jar和hadoop-registry-3.3.5.jar，注意，不包括目录jdiff、lib、sources和webapps；可以直接采用默认的设置“/home/hadoop/workspace”，点击“OK”按钮。
大数据处理从零开始————4.认识HDFS分布式文件系统
m0_74922316的博客
10-05 1895
当单台服务器的存储容量和计算性能已经无法处理大文件时，分布式文件系统应运而生。什么是分布式系统，分布式系统是由多个独立的计算机或节点组成的系统，这些计算机通过网络连接，协同工作，以实现共同的目标或完成某些任务。Hadoop的分布式文件系统HDFS是基于Google的GFS（Google File System）论文建立的。HDFS优化了大数据的存储和访问，为处理海量数据提供了解决方案。HDFS是一个典型的Master/ Slave（主从）架构模型系统，旨在管理大型分布式数据集和密集计算。什么是主从架构？
HDFS分布式文件系统概述
qq_62377885的博客
12-28 1096
HDFS（Hadoop Distributed File System），首先它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多台服务器联合起来实现其功能，集群中的服务器有各自的角色。HDFS的适用场景：适合一次写入、多次读出的场景，且不支持文件的修改。适合用于数据分析，不合适作为网盘。
Hadoop分布式文件系统——HDFS
王慧龙的专栏
02-04 813
一、HDFS介绍 图片摘自尚学堂hadoop视频教程 HDFS为了做到可靠性(reliability)创建了多份数据块(data blocks)的复制(repiicas) ,并将它们放置在服务器群的计算节点中(compute nodes)，MapReduce就可以在 它们所在的节点上处理这些数据了。 NameNode (1)存储元数据 (2)元数据保存在内存中 (3)保存文件，block，datanode之间的
Hadoop之HDFS——分布式文件系统
NewB20143864的博客
04-08 394
文章目录HDFS的体系结构HDFS的设计前提与目标HDFS文件存储架构HDFS的运行机制 HDFS的体系结构 HDFS采用主从（Master/Slave）结构模型，将节点分为两类，包括一个处于运行状态的NameNode和若干DataNode。 NameNode服务器负责管理和维护HDFS的目录系统并且控制文件的读写操作。 多个DataNode服务器负责存储数据。下图中只展示出了3个DataNod...
大数据——HDFS(分布式文件系统）
qq_46300524的博客
04-17 6655
我的理解就是 ，你上传到服务器的数据，为了保证数据的安全性，如果一个服务器出现了问题 ，那么必须保证你的数据不能丢失，那么在其他服务器上也会备份一份出问题服务器的数据，以保证数据不丢失，就是一个存有你数据的服务器坏掉了，也不会影响你的数据。以上仅仅是我的理解，仅供参考。
Hadoop分布式文件系统HDFS
网瘾少年沐安涂
10-16 579
参考博客还不懂HDFS的工作原理？快来扫扫盲 HDFS中的Namenode和Datanode HDFS概述（2）————Block块大小设置 HDFS详解目录 HDFS体系结构的组成 HDFS特点 HDFS存储原理 常用命令 需要注意的问题 HDFS结构的组成HDFS体系结构中有两类节点，一类是NameNode，又叫”元数据节点”；另一类是DataNode，又叫”数据节点”。这两类节点分别承担
hadoop分布式文件系统hdfs
12-29
HDFS通过将单个文件切分成固定大小的数据块（blocks），通常为64MB或更大，并将其分布存储于集群中的不同节点上来实现高效管理与访问[^2]。为了提高可靠性，这些数据块会被复制多份——通常是三份——分布在不同的...
Hadoop-HDFS-Packet含义及作用
最新发布
认真学代码的shell
05-14 540
Packet是 HDFS 数据传输的基本单位。当HDFS 客户端写入或读取文件时，数据会被分割成多个 Packet，每个Packet 包含一部分数据块（Block）的内容。Packet 是一个逻辑单位，通常由多个字节的数据和校验信息组成。Packet 是 HDFS 数据传输的基本单位，它将 Block 切分为更小的逻辑单位，便于高效的网络传输和数据校验。写入时，Packet 被依次传输到 DataNode 的 Pipeline，并通过确认机制确保数据可靠性。读取时。
hadoop中spark基本介绍
2401_87138834的博客
05-14 165
RDD：是Spark的核心数据结构，代表一个不可变的、可分区的、分布式的数据集。- SparkContext：是Spark应用程序的入口点，负责与集群管理器（如Hadoop YARN）进行通信，管理集群资源，创建RDD、累加器和广播变量等。- YARN：与Hadoop的YARN集成，由YARN负责资源管理和调度，Spark应用程序作为YARN的一个应用运行在集群上。- 通用：不仅可以进行批处理，还能支持交互式查询、流计算、机器学习、图计算等多种计算模式，是一个多用途的大数据处理平台。
hadoop知识点
2401_87138834的博客
05-14 233
echo111>a.txt 会把111写入a.txt这个文件中，把之前的内容删除掉。| 管道运算符，它的功能是：把上一个命令的输出结果，作为下一个命令输入内容。命令：tar-cvf test.tar 1.txt 2.txt 3.txt。echo111>>a.txt 会把111追加到a.txt这个文件中。-c 建立一个压缩文件，把多个文件或者文件夹压缩到一个新的文件中。示例：把一个压缩文件（test.tar）解压出来，就放在指定目录。示例：把filel.txt复制一份得到file2.txt。
hadoop
2401_87138834的博客
05-14 199
YARN 是 Hadoop 中的资源管理和调度框架，它将资源管理和作业调度 / 监控功能分离，为集群中运行的各种应用程序（如 MapReduce、Spark 等）提供统一的资源管理和调度服务，使集群资源能更高效、灵活地被使用。它接收来自各个节点的资源汇报，监控集群资源使用情况，并根据应用程序的资源请求，按照一定的调度策略分配资源给 ApplicationMaster。◦ 适用场景：适用于多用户、多应用共享集群的场景，能保证每个用户或应用类别有一定的资源份额，实现资源的合理分配，兼顾公平性和灵活性。
Hadoop和Spark生态系统
2401_85414079的博客
05-13 231
1.来源：Hadoop MapReduce 的 历史任务服务器，由 mr-jobhistory-daemon.sh start historyserver 启动。1.来源：Spark 集群的 工作节点（Worker Node），由 start-worker.sh 启动。1.来源：Spark 的 历史任务服务器，由 start-history-server.sh 启动。1.来源：Hadoop HDFS 的 数据节点，由 start-dfs.sh 启动。②接收客户端提交的任务，分配给 Worker 执行。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值