hdfs 块(block) 大小的影响

最新推荐文章于 2023-03-01 22:11:44 发布
最新推荐文章于 2023-03-01 22:11:44 发布
阅读量1.3k 收藏
点赞数
文章标签： 大数据
原文链接：https://my.oschina.net/u/2969788/blog/2873733
版权

hdfs 块(block) 大小的影响

hdfs 会将文件划分为块(block),进行存储,每个块默认会备份成三份存储在不同的DataNode节点上,一般情况下块的默认大小是 64MB或者128MB,这样做的好处是

  • 减少磁盘寻址时间
  • 减少NameNode记录block和DataNode的开销

注意 如果一个文件小于块的默认大小,不会占据整个块.另外块的大小不能过于大因为

  • mapreduce中 map任务通常一次只处理一个块中的数据,因此如果任务太少 少于集群中的节点数,作业的运行速度会比较慢
  • 块过大不利于节点检查块是否丢失,因为预设的检查时间是根据块的大小决定的,如果过大时间会很长,影响精确性

 

转载于:https://my.oschina.net/u/2969788/blog/2873733

chuya1943
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【1】HDFS概述
01-20
（2）定义：HDFS是一个基于分布式计算的文件系统，它将大文件分割成多个块（Block），每个块分布在不同的节点上。通过命名节点（NameNode）管理文件系统的元数据，数据节点（DataNode）负责存储实际的数据块。用户...
Hadoop之详解HDFS架构
01-27
HDFS将大文件分割成固定大小的Block，并在多个DataNode上存储副本。默认情况下，每个Block有三个副本，以增强数据的可靠性。副本的放置策略考虑网络拓扑和节点负载，以最大化读取速度并均衡集群资源。 综上所述，...
HDFS文件块大小（面试重点）
weixin_47260194的博客
03-05 1558
HDFS中的文件在物理上是分块存储（Block），块的大小可以通过配置参数 ( dfs.blocksize）来规定，默认大小在Hadoop2.x/3.x版本中是128M，1.x版本中是64M。 1.HDFS的块设置太小，会增加寻址时间，程序一直在找块的开始位置 2.如果块设置的太大，从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。导致程序在处理这块数据时，会非常慢 HDFS的大小设置主要取决于磁盘传输速率（一般公司128M，大公司256M） ...
HDFS中的block
weixin_43166227的博客
09-11 2085
HDFS中的block默认三份保存。 HDFS被设计成支持大文件，适用HDFS的是那些需要处理大规模的数据集的应用。这些应用都是只写入数据一次，但却读取一次或多次，并且读取速度应能满足流式读取的需要。HDFS支持文件的“一次写入多次读取”语义。一个大文件会被拆分成一个个的块(block)，然后存储于不同的DataNode上。如果一个文件小于一个block的大小，那么实际占用的空间为其文件的大小。...
HDFS为什么块大小不能太大也不能太小
祁东握力的博客
10-10 2015
一、HDFS 块设置的比较小会增加寻址时间，并且每个块在namenode都会存储一份元数据，增加namenode开销 一个大文件会被分为多个block存在hdfs中，而每个block对于磁盘来说就是一个文件。 该hdfs的大文件寻址时间是等于磁盘寻找每个block文件的总和。 而本地磁盘每寻找一个block文件都要寻址一次，每次寻址时间都差不多。所以block数量越多，寻址次数越多，则把该大...
HDFS概述（背景、优缺点、架构、块大小）
Emeraki的博客
10-25 826
第一章 HDFS概述 （1）HDFS产生背景   随着数据量越来越大，在一个操作系统下存放不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是却不方便管理和维护。于是就迫切的需要一种系统来管理多台机器上的文件，这就是分布式文件系统，HDFS即hadoop distributed file system，是分布式文件管理系统中的一种。   HDFS是一个文件系统，用于存储文件，通过目录树来定位文件。其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器各司其职。   HDFS的使用场景：适
hadoop版本、hdfs组成架构、hdfs文件块、优缺点、读写文件流程
qzc_root的博客
04-20 1556
Hadoop 三大发行版本 1.Apache Hadoop 官网地址：http://hadoop.apache.org/releases.html 下载地址：https://archive.apache.org/dist/hadoop/common/ 2.Cloudera Hadoop 官网地址：https://www.cloudera.com/downloads/cdh/5-10-0.html 下载地址：http://archive.cloudera.com/cdh5/cdh/5/ 3.Hortonwor
HDFS的概念-数据块.pdf
07-11
在 HDFS 中，数据块（block）是最小的存储单元， Plays a crucial role in managing and storing data. 数据块的概念 在 HDFS 中，每个文件被分解成多个数据块，作为独立的存储单元。这些数据块的大小通常为 64MB...
example-hdfs
03-08
HDFS中的文件由多个数据块组成，可以使用`copyBlock()`或`copyToLocalFile()`方法实现文件的复制。例如，将HDFS上的文件复制到本地： ```java fs.copyToLocalFile(false, filePath, new Path("/localPath")); // ...
1.6.HDFS的应用1
08-08
- **数据块（Block）**：文件被分割成固定大小的数据块，默认为64MB，以便于在DataNode之间分布和复制。 - **副本策略**：每个数据块通常有多个副本，以提高容错性和数据可用性。 - **数据恢复**：如果某个副本...
Block块是不是设置的越大越好？Block块是不是设置的越小越好？
热门推荐
Shockang的博客
05-27 3万+
写在前面 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和文献引用请见1000个问题搞定大数据技术体系 解答 Block 块不能设置的过大 由于 HDFS 一个数据块 Block 用一个校验和校验，自然 Block 块设置的小点就可以及时的发现错误并恢复。 Block 块设置的过大的话，不利于数据分散到不同的数据节点上面，这样无法利用并行计算的优势。 Block 块也不能设置的过小 无论 Block 块
为什么HDFS文件块大小既不能设置太大也不能设置太小？（面试题）
lnqvq的博客
10-29 601
为什么HDFS文件块大小既不能设置太大也不能设置太小？
HDFS概述（2）————Block块大小设置
weixin_30644369的博客
05-24 1619
以下内容转自：http://blog.csdn.net/samhacker/article/details/23089157?utm_source=tuicool&utm_medium=referral http://snglw.blog.51cto.com/5832405/1643587 小文件BLOCK占用 【小于块大小的小文件不会占用整个HDFS块空间。也就是说，较多的...
HDFS默认块的大小和份数
one-way or another
04-29 7549
HDFS默认Block Size 64MB，block默认保存3份。 HDFS被设计成支持大文件，适用HDFS的是那些需要处理大规模的数据集的应用。这些应用都是只写入数据一次，但却读取一次或多次，并且读取速度应能满足流式读取的需要。HDFS支持文件的“一次写入多次读取”语义。一个大文件会被拆分成一个个的块(block)，然后存储于不同的DataNode上。如果一个文件小于一个block的大小，那么...
HDFS优缺点及解决方案
L13763338360的博客
09-14 2138
1HDFS优点 海量数据存储： HDFS可横向扩展，其存储的文件可以支持PB级别数据。 高容错性：节点丢失，系统依然可用，数据保存多个副本，副本丢失后自动恢复。 可构建在廉价（与小型机大型机比）的机器上，实现线性扩展(随着节点数量的增加，集群的存储能力，计算能力随之增加)。 大文件存储：HDFS采用数据块的方式存储数据，将一个大文件切分成多个小文件，分布存储。 2 HDFS缺点 HDFS有几个缺点： 元数据的扩展性：NameNode是一个中央元数据服务节点，也是集群管理节点，文件系统的元数据以及.
Hadoop优化与调整
weixin_34332905的博客
04-22 167
2019独角兽企业重金招聘Python工程师标准>>> ...
Hadoop面试题---Hdfs的文件快大小和什么有关系
qq_39872456的博客
02-11 788
一、Hdfs的文件块大小 1、HDFS 中的文件在物理磁盘上是通过分块存储的，块的大小可以通过参数配置（dfs.blocksize）来决定，在 Hadoop >= 2.x 版本中是 128M，Hadoop1.x是 64M； 二、一个例子 1、 假如磁盘的寻址时间约为 10ms，即查找到目标 Block 的时间为 10ms 2、根据规定，寻址时间为传输时间的 1%时，为最佳状态。因此传输时间= 10ms / 0.1 = 1s 3、若磁盘的传输速率为 100M/s 4、那么块的大小最佳为 100M。 5、
HDFS文件块大小
qq_41982570的博客
03-01 1134
HDFS文件块大小
HDFS块的讲解及优缺点
CyAurora的博客
07-17 2337
1. 传统型分布式⽂件系统的缺点 现在想象⼀下这种情况：有四个⽂件 0.5TB的file1，1.2TB的file2，50GB的file3， 100GB的file4；有7个服务器，每个服务器上有10个1TB的硬盘。 在存储⽅式上，我们可以将这四个⽂件存储在同⼀个服务器上（当然⼤于1TB的⽂件 需要切分），我们需要使⽤⼀个⽂件来记录这种存储的映射关系吧。⽤户是可以通过 这种映射关系来找到节点硬盘相应的⽂件的。那么缺点也就暴露了出来： 第⼀、负载不均衡。 ...
查看hdfs默认块大小的文件
最新发布
05-25
要查看HDFS默认块大小，可以使用以下命令： ``` hdfs getconf -confKey dfs.blocksize ``` 这将返回HDFS默认块大小，例如： ``` 134217728 ``` 这表示HDFS默认块大小为128MB。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值