hadoop的block大小的原因以及其他的block大小

最新推荐文章于 2022-12-06 20:12:17 发布
最新推荐文章于 2022-12-06 20:12:17 发布
阅读量1.9k 收藏 2
点赞数 2
分类专栏： 大数据集群 HDFS
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sghuu/article/details/101553567
版权

hadoop的block大小的原因

HDFS中的文件在物理上是分块存储的，快的大小可以通过配置参数来规定，默认在hadoop2版本中是128M,老版本是64M。
在这里插入图片描述
128M是由于大部分磁盘的传输速率决定的，一些大厂提高磁盘的传输速率从而将块的大小设置为256M的大小，目前普遍为128M；

块的过大和过小带来的影响：
1、块过小
当一个问价较大时，此时就会产生数量巨多的块，则在程序执行时会大量增加寻址时间。
2、快过大
如果快设置过大，从磁盘传输的时间会明显大于定位这个快开始位置的时间。导致程序在处理这块数据时，会特别慢，不利于多个MapTsk执行一个件。

上文说的block大小为集群环境下的block大小：
通过debugmr程序是发现本地环境下hadoop的block大小为32M

sghuu
关注
专栏目录
HDFS block丢失，导致hadoop进入安全模式的解决方案
08-29
本文将详细介绍HDFS Block丢失导致Hadoop进入安全模式的原因、影响以及具体的解决方案。 #### 一、HDFS Block丢失的原因 1. **硬件故障**：服务器硬盘损坏是最常见的原因。 2. **网络问题**：数据中心内的网络故障...
Hadoop-01 关于hadoop的block
qq_40748746的博客
02-14 1071
第一章 hadoop学习之hdfs数据块 目录 第一章 hadoop学习之hdfs数据块 block 一、如何设置块 二、数据块相关 2.1 128M如何计算 2.2.为什么HDFS数据块不能设置过大也不能设置过小？ 总结 block hadoop中经常用到的概念是数据块（block）,block是逻辑上的概念，无实际的物理划分。通常在hadoop2.0之后一个块分为128M,hadoop1.0的时候是64M. 一、如何设置块 hadoop安装目录下的hdfs-site.xml文
Hadoop
最新发布
weixin_46886475的博客
12-06 2316
hadoop介绍
HDFS Block块大小限定依据及原则
GSpinach的博客
08-17 9141
@Author : Spinach | GHB @Link : http://blog.csdn.net/bocai8058 文章目录前言 前言
一篇讲懂为什么HDFS文件块（block）大小设定为128M
热门推荐
攻城狮Kevin
11-19 1万+
最近看到这个面试问题，CSDN搜了半天也没有确切答案，查询资料思考后总结如下： 我们在HDFS中存储数据是以块（block）的形式存放在DataNode中的，块（block）的大小可以通过设置dfs.blocksize来实现； 在Hadoop2.x的版本中，文件块的默认大小是128M，老版本中默认是64M； 目录 一、为什么HDFS中块（block）不能设置太大，也不能设置太小？ 二、 ...
hive--小文件问题
qq_46893497的博客
10-07 1627
@TOC 小文件如何产生 hive的底层存储是HDFS，默认的块大小是128M，通常小于默认块大小，HDFS默认也算一个block, 所以产生小文件主要有以下几种： 1、数据源本身就包含有大量的小文件。 2、使用spark/flink实时写hive时，根据业务的时间窗口（10s，20s）落地hive表，产生很多小文件。 3、采用动态分区也会产生很多小文件。 4、reduce的个数输出。默认reduce个数和落地hive文件个数一样。 小文件带来的影响 1、从Hive的角度看，小文件会开很多map
Hadoop的block Size和split Size究竟是什么关系_1
08-04
默认情况下，一个HDFS Block的大小通常为128MB或64MB，具体取决于Hadoop的版本和配置。当一个大文件被上传到HDFS时，文件会被自动划分为若干个Block，每个Block根据设定的Block Size进行存储。这样做的目的是为了...
Hadoop的block Size和split Size究竟是什么关系-safari1
08-04
在Hadoop生态系统中，Block Size和Split Size是两个关键的概念，它们在数据处理流程中扮演着重要的角色。这里我们将详细探讨这两个概念之间的关系及其在MapReduce框架中的应用。 首先，Block Size是Hadoop分布式...
外网无法访问HDFS org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block
01-09
报错 org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block 2、百度结果 参考 https://blog.csdn.net/xiaozhaoshigedasb/article/details/88999595  防火墙记得关掉； 查看DataNode是否启动；...
hadoop 3.1.4
10-03
3. **Block Size 调整**：允许用户自定义更大的 Block 大小，适应更大文件的存储需求，提升了存储效率。 4. **S3A 文件系统客户端**：增强了与 Amazon S3 的集成，提高了与云存储系统的兼容性。 5. **HDFS ...
HDFS概述（2）————Block块大小设置
weixin_30644369的博客
05-24 1645
以下内容转自：http://blog.csdn.net/samhacker/article/details/23089157?utm_source=tuicool&utm_medium=referral http://snglw.blog.51cto.com/5832405/1643587 小文件BLOCK占用 【小于块大小的小文件不会占用整个HDFS块空间。也就是说，较多的...
Hadoop优化与调整
weixin_34332905的博客
04-22 176
2019独角兽企业重金招聘Python工程师标准>>> ...
hdfs 块(block) 大小的影响
11-08 1339
hdfs 块(block) 大小的影响 hdfs 会将文件划分为块(block),进行存储,每个块默认会备份成三份存储在不同的DataNode节点上,一般情况下块的默认大小是 64MB或者128MB,这样做的好处是 减少磁盘寻址时间 减少NameNode记录block和Data...
Hadoop源码分析（八）
LittleBiscu1t的博客
11-25 1415
2021SC@SDUSC 研究内容简略介绍 上周我们将对InputFormat的几个重要子类，如FileInputFormat等展开了详细的分析，在了解了InputFormat的源码并分析其的功能的基础上，进一步分析了输入类FileInputFormat（切片）及其4个实现类（kv）的用法。本次我们将继续对核心源码的分析，首先从org.apache.hadoop.mapreduce.InputSplit开始。 org.apache.hadoop.mapreduce.InputSplit源码分析 首先附上文
Hadoop参数调优，性能优化。
东城庞太师
05-26 1766
Hadoop参数调优 一、 hdfs-site.xml 配置文件 1、 dfs.blocksize 参数：hadoop文件块大小 描述：新文件的默认块大小，以字节为单位，默认 134217728 字节。 可以使用以下后缀(大小写不敏感):k(kilo)、m(mega)、g(giga)、t(tera)、p(peta)、e(exa)来指定大小(如128k、512m、1g等)， 或者以字节为单位提供完整的大小。 2、 dfs.namenode.handler.count 参数：namenode的
HDFS的block默认存储大小
想练武，就得下功夫
10-25 4801
被问到hadoop的HDFS的block默认存储大小 想都没想直接回答64M 。。。 抱着学习的心态，我们去官网一探究竟 hadoop1.2.1 hadoop2.6.0 hadoop2.7.0 hadoop2.7.2 Data Blocks HDFS is designed to support very large files. Applications that are compatible with HDFS are those that deal with large data set.
Hadoop解决小文件存储思路
LINBE_blazers的博客
09-27 5838
1.什么是小文件 小文件一般是指明显小于Hadoop的block size的文件。Hadoop的block size一般是64MB，128MB或者256MB，现在一般趋向于设置的越来越大。后文要讨论的内容会基于128MB，这也是CDH中的默认值。为了方便后面的讨论，Fayson这里假定如果文件大小小于block size的75%，则定义为小文件。但小文件不仅是指文件比较小，如果Hadoop集群中...
hadoop之HDFS设置BLOCK块大小
weixin_40645193的博客
10-18 2584
hdfs-site.xml(每次修改后需要重启hdfs,并且分发所有节点) dfs.replication 3 dfs.blocksize 10 新文件的默认块大小(以字节为单位)。 你可以使用以下后缀(不区分大小写): k(千)，m(百万)，g(千)，t(翅目)，p(peta)， e(exa)指定大小(如128k, 512m, 1g等)， 或者提供完整的字节大小(例如128mb的134217728)。 注：这一段如果不加的话会报错 dfs.namenode.fs-limits.min-bl
Hadoop--HDFS文件块大小
weixin_44976835的博客
03-26 2611
HDFS中的文件在物理上是分块（Block）存储的，块的大小是可以通过配置参数（dfs.blocksize）来规定的。一个文件块的默认大小是128M。 块大小的计算 如果寻址时间为10ms，即查找到目标block的时间为10ms 寻址时间为传输时间的1%，则为最佳状态。 因此传输时间=10ms/0.01=1000ms=1s 而目前磁盘传输速率普遍为100M/s 所以block大小为：1s*100M/S=100M 所以一般企业内定义的块大小为128M（机械硬盘）或256M（固态硬盘） 块大小的设置 为什么
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值