HDFS文件块大小（面试重点）

已于 2023-02-14 16:04:33 修改
阅读量1.5k 收藏 2
点赞数
分类专栏： 大数据开发 文章标签： hdfs 面试 hadoop
于 2022-03-05 20:19:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_47260194/article/details/123300368
版权

HDFS中的文件在物理上是分块存储（Block），块的大小可以通过配置参数
( dfs.blocksize）来规定，默认大小在Hadoop2.x/3.x版本中是128M，1.x版本中是64M。

1.HDFS的块设置太小，会增加寻址时间，程序一直在找块的开始位置

2.如果块设置的太大，从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。导致程序在处理这块数据时，会非常慢

HDFS的大小设置主要取决于磁盘传输速率（一般公司128M，大公司256M）

你可以自己看
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【史上最全】Hadoop精选18道面试题(附回答思路)_hadoop面试题
2401_84181501的博客
04-17 905
HDFS 分布式文件系统 提供高吞吐量的数据访问和存储，特别适合大数据集的分布式存储。具有高容错性 支持流式访问MapReduce 分布式计算框架 用于大规模数据集的并行处理分而治之 构造抽象模型YARN 分布式资源管理系统 负责任务调度和集群资源管理。
HDFS之查看文件块内容
孤独的博客
08-12 918
import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import org.apache.hadoop.io.IOUtils; import org.apache.hadoop.util.Progressable; import org.junit.After; import org.junit.Be...
HDFS的文件块大小（重点）
bankq的博客
07-24 1955
对于一般硬盘来说，传输速率为100M/s，一般设置块的大小128M，因为128是2的7次方，最接近于100M。比如，块的大小是1TB，传输这个1TB的数据会非常慢，并且程序处理这个1TB的数据时，也非常的慢。不是的，它只占用文件本身大小的空间，其它空间别的文件也可以用，所以这128M的含义是HDFS数据块的大小，和每个文件的大小没有关系。HDFS的块设置太小，会增加寻址时间。例如，块的大小是1KB，文件大小是100KB，这时候要分100个块来存储文件，读取文件时要找到100个块的地址，会大大增加寻址时间。
HDFS文件块大小
weixin_46039745的博客
07-06 805
HDFS是一个分布式文件系统，其数据存储和处理方式与传统的文件系统有所不同。其中一个关键的特性就是它将文件分成一个或多个块，然后将这些块分散存储在不同的物理节点上。这种存储方式可以提高数据的可靠性和可扩展性。而块的大小设置对于HDFS的性能和数据存储有着非常重要的影响。
大数据HDFS-------HDFS文件块大小
xyz78911111的博客
08-03 268
HDFS在物理上存储文件分块存储（block），块大小可以通过配置参数（dfs.blocksize）来规定，默认文件块HADOOP2.X/3.X版本大小为128M,HADOOP1.X版本文件块为64M.
HDFS目录数及大小设置
u012667450的博客
04-28 3048
HDFS目录数及大小设置 前言 由于时间紧急，本人稍微调研了下，HDFS配置中是有目录文件夹数量限额的，但没有存储空间资源限额。 需求 1.需要在集群管理上开发项目使用的HDFS目录下的文件数量限额。比如一个HDFS目录下最多运行10个文件。 2.需要在集群管理上开发项目使用的存储资源限额。比如：一个目录不能超过100G。 调研 针对这两个小需求，去官网找了下hdfs-site.xml的所有属性配置。得到的结论是： 可以设置HDFS目录下文件数量，但不能设置文件的存储大小。 <!--这个属性是设置HD
HDFS块大小设置
qq_45275284的博客
03-23 442
一、HDFS 块设置的比较小会增加寻址时间，并且每个块在namenode都会存储一份元数据，增加namenode开销。最佳传输损耗理论：在一次传输中，寻址时间占总传输时间的1%，本次传输的损耗最小，为最佳性价比传输。块在传输时，每64K还需要校验一次，因此块大小，必须为2的n次方，最接近100M的就是128M！如果公司使用的是固态硬盘，写的速度是300M/S，将块大小调整到 256M。如果公司使用的是固态硬盘，写的速度是500M/S，将块大小调整到 512M。
第4章 HDFS 2 4.1. 简介 2 4.1.1. 概述 2 4.1.2. 组成架构 4 4.1.3. HDFS文件块大小
05-21
4.1.3. HDFS文件块大小 5 4.2. HDFS的shell操作 6 4.2.1. 基本语法 7 4.2.2. 参数大全 8 4.2.3. 常用命令实操 9 4.3. 通过Java实现HDFS操作及访问 14 4.3.1. IntelliJ IDEA 16 4.3.2. maven软件安装与配置 17 4.3.3....
HDFS文件的查看
05-21
hdfs文件的查看 hdfs fs -cat /文件名
HDFS文件系统
02-26
HDFS文件系统，大数据资源文件
HDFS文件的下载
05-21
hdfs文件的下载
HDFS分布式文件系统
02-24
数据块（Block）：存储文件的最小单元。对存储介质划分了固定的区域，使用时按这些区域分配使用。HDFS(HadoopDistributedFileSystem)基于Google发布的GFS论文设计开发。HDFS是Hadoop技术框架中的分布式文件系统，对...
Hdfs梳理
jslzcydd的博客
10-26 1349
Hdfs的文件自物理上是进行分块存储的，默认大小是128M，不足128M的则本身就是一块。例如一个300M的文件，会被分为3块，然后根据他内部算法将这3块分别放到不同的datanode机器进行存储，单个存储完成后再进行副本的复制，将某一台机器上的block复制到其他另外的节点（复制的数据根据配置的副本数，未配置的话默认就是3）所谓分布式文件系统，就是随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系 统管理的磁盘中，但是不方便管理和维护，需要一种系统来管理多台机器上的文件。
大数据之Hadoop--HDFS
weixin_48205015的博客
03-02 347
HDFS
HDFS如何处理大文件和小文件的存储和访问？
最新发布
jakelihua
09-06 421
对于大文件的存储和访问，HDFS采用了分块存储和并行读取的策略。通过以上的案例和代码，我们可以看到，HDFS通过分块存储和并行读取的策略来处理大文件，通过合并存储和元数据压缩的策略来处理小文件。它通过分块存储和并行读取的策略来处理大文件，通过合并存储和元数据压缩的策略来处理小文件。在读取大文件的过程中，首先获取文件的数据块信息，然后按顺序从对应的DataNode读取数据块，并将数据块写入输出流。在读取小文件的过程中，首先获取文件的数据块信息，然后从对应的DataNode读取数据块，并将数据块写入输出流。
为什么HDFS文件块大小既不能设置太大也不能设置太小？（面试题）
lnqvq的博客
10-29 599
为什么HDFS文件块大小既不能设置太大也不能设置太小？
hadoop修改HDFS默认块大小的配置
热门推荐
飘羽的博客
01-22 1万+
首先叙述一下： 1.hadoop1.x的HDFS默认块大小为64MB；hadoop2.x的默认块大小为128MB。 如果进行数据块的自定义需要修改hdfs-site.xml文件，例如： property>   name>dfs.blocksizename>   value>30mvalue>   property>   property>   name>dfs.name
Hadoop--HDFS文件块大小
weixin_44976835的博客
03-26 2524
HDFS中的文件在物理上是分块（Block）存储的，块的大小是可以通过配置参数（dfs.blocksize）来规定的。一个文件块的默认大小是128M。 块大小的计算 如果寻址时间为10ms，即查找到目标block的时间为10ms 寻址时间为传输时间的1%，则为最佳状态。 因此传输时间=10ms/0.01=1000ms=1s 而目前磁盘传输速率普遍为100M/s 所以block大小为：1s*100M/S=100M 所以一般企业内定义的块大小为128M（机械硬盘）或256M（固态硬盘） 块大小的设置 为什么
查看hdfs默认块大小的文件
05-25
要查看HDFS默认块大小，可以使用以下命令： ``` hdfs getconf -confKey dfs.blocksize ``` 这将返回HDFS默认块大小，例如： ``` 134217728 ``` 这表示HDFS默认块大小为128MB。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值