如何减少block的数量？也就是减小Namenode的内存压力？

最新推荐文章于 2022-08-10 14:04:17 发布
最新推荐文章于 2022-08-10 14:04:17 发布
阅读量764 收藏
点赞数 1
分类专栏： hadoop学习 文章标签： Namenode 内存 hadoop中的块 块的大小
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42006411/article/details/80607577
版权

问题：如何减少block的数量？也就是减小Namenode的内存压力？

答：  设置dfs.blocksize参数即可，这个参数是设置块的大小，默认是128M，现实应用中可以提高块的大小，如：256M或者512M,这样可以减小快的数量，从而减小Namenode 的内存大小


长安一片月
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
NameNode所需配置，NameNode内存配置计算，NameNode与block关系
jast
07-09 4085
搭建Hadoop配置，NameNode 所需大小，与Block大小，HDFS副本数均有关，计算方式如下： Namenode需要的内存 注意：以上计算Block数量只是粗略计算，文件名称的长度和系统目录的个数 两个也需要NameNode来进行管理。
Block的理解
weixin_34100227的博客
03-19 86
一、块的基础知识 块于函数类似，只不过是直接定义在另一个函数里的，和定义它的那个函数共享同一个范围内的东西。 void (^someBlock)() = ^{ } 这段代码定义了一个名为someBlock的变量，没有参数，也不返回值。 块类型的语法结构如下： return_type (^block_name)(parameters) 下面这种写法所定义的块，返回int值，并且接受两个...
NameNode内存生产配置
一个有趣、有料、有内涵的地方!
09-28 2107
Hadoop2.x 系列，配置 ...
关于NameNode上存储Block块的相关信息深入理解
友培的博客
01-20 1963
关于NameNode上存储BLock块的相关信息深入理解 ​ 介绍一个专用名称：blockReport，DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有的块信息的过程叫做blockReport ​ 在NameNode启动加载fsimage中加载时候，是没有bLock的一个映射信息的（即我们不知道该block具体存储在哪几个节点上），而在所有datanode启动时，每个datanode对磁盘进行扫描，将自身的块信息汇报给NameNode（blockRepo
HDFS集群数据不均衡处理
weixin_30246221的博客
11-27 537
一、概述 公司使用是自己搭建的hadoop集群，版本2.7.3，最近发现出现了hdfs数据存储不均衡的现象，其中有一个datanode使用了65%，而有一个只使用了20%。hadoop集群使用的时间长了会出现这种数据不均衡的问题，当然hadoop提供了解决方案，就是使用balancer，默认进行的是datanode级别的数据均衡，但是2.X版本还不支持datanode内的磁盘之间数据均衡，had...
Hadoop Namenode恢复
最新发布
09-02
Hadoop Namenode 恢复 Hadoop Namenode 是 Hadoop 分布式文件系统的核心组件之一，负责管理文件系统的命名空间。然而，在生产环境中，namenode 的...同时，secondarynamenode 的存在也可以确保 namenode 的高可用性。
HDFSNameNode内存全景
02-25
从整个HDFS系统架构上看，NameNode是其中最重要、最复杂也是最容易出现问题的地方，而且一旦NameNode出现故障，整个Hadoop集群就将处于不可服务的状态，同时随着数据规模和集群规模地持续增长，很多小量级时被隐藏的...
Hadoop之NameNode Federation图文详解
08-26
集群中所有DataNode向所有NameNode都进行注册，而一个块池（block pool）有属于同一个命名空间的数据块组成，每个DataNode可能会存储集群中所有块池的数据块，每个块池互相独立，有一个挂掉了也不会影响其他块池正常...
HDFS之NameNode分析
01-30
大家都知道HDFS的架构由NameNode,SecondaryNameNode和DataNodes组成，其源码类图如下图所示：正如上图所示，NameNode和DataNode继承了很多的protocol用于彼此间的通信，其实nameNode还实现了...实现了ClientProtocol...
Hadoop中namenode和secondarynamenode工作机制讲解
09-30
今天小编就为大家分享一篇关于Hadoop中namenode和secondarynamenode工作机制讲解，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧
Hadoop Namenode性能诊断及优化
01-22
Hadoop Namenode性能诊断及优化
NameNode 需要多大的内存？
说文科技，做有态度的研究。
01-14 4402
HOW MUCH MEMORY DOES A NAMENODE NEED? 1.为什么考虑给NameNode分配内存的问题？ A namenode can eat up memory, since a reference to every block of every file is maintained in memory. 2.该分配多少？ It’s difficult to give ...
HDFS NameNode内存剖析一
Dreamershi的专栏
08-10 760
从整个HDFS系统架构上看，NameNode是其中最重要、最复杂也是最容易出现问题的地方，而且一旦NameNode出现故障，整个Hadoop集群就将处于不可服务的状态，同时随着数据规模和集群规模地持续增长，很多小量级时被隐藏的问题逐渐暴露出来。所以，从更高层次掌握NameNode的内部结构和运行机制尤其重要。除特别说明外，本文基于社区版本Hadoop-2.4.1[1][2]，虽然2.4.1之后已经有多次版本迭代，但是基本原理相同。NameNode管理着整个HDFS文件系统的元数据。......
HDFS NameNode内存详解
美团技术团队
12-09 3441
前言 《HDFS NameNode内存全景》中，我们从NameNode内部数据结构的视角，对它的内存全景及几个关键数据结构进行了简单解读，并结合实际场景介绍了NameNode可能遇到的问题，还有业界进行横向扩展方面的多种可借鉴解决方案。 事实上，对NameNode实施横向扩展前，会面临常驻内存随数据规模持续增长的情况，为此需要经历不断调整NameNode内存的堆空间大小的过程，期间...
NameNode与block的一点联系
大黑牛的博客
06-23 801
1.namenode与secondarynamenode是否放到同一个节点 不能，原因：单节点内存大小有物理限制；2.namenode内存大小由谁决定？ 由集群中的块的数量决定； 换算规则：默认情况下。每个block大小对应元数据为150字节。 那么，如集群中存在1亿个块文件，元数据大小为1亿*150/(1024*1024*1024)=14G3.如何减少block的数量？   设置dfs.bloc...
工欲善其事必先利其器——第二弹 HDFS性能压测工具浅析
langtaosha的专栏
11-29 1759
引言 Hadoop生态圈的基石有两个，一个是HDFS文件系统，一个是MR编程框架。第一弹中提到应用MR编程框架实现大规模多机联合负载压测场景的方案，则突出了MR的能力，实际上HDFS作为这一切的基础，所起的作用是不容忽视的。 HDFS分布式文件系统与一般的文件系统，从本质构成上来说并没有太大的区别，普通磁盘上的文件系统，例如ext3有数据块（block），HDFS也有这个概念，ext3
Hadoop解决小文件存储思路
LINBE_blazers的博客
09-27 5771
1.什么是小文件 小文件一般是指明显小于Hadoop的block size的文件。Hadoop的block size一般是64MB，128MB或者256MB，现在一般趋向于设置的越来越大。后文要讨论的内容会基于128MB，这也是CDH中的默认值。为了方便后面的讨论，Fayson这里假定如果文件大小小于block size的75%，则定义为小文件。但小文件不仅是指文件比较小，如果Hadoop集群中...
"Namenode瓶颈解决方案"分享总结
smallnetvisitor的博客
06-08 656
概述： 此分享是关于Namenode中Blocksmap太大等引起的瓶颈问题解决方案 技术点： 1.用行级锁缩小Namespace锁粒度 2.用Cache + FusionIO解决吃内存的问题 3.持久化Blockmap, 加速重启过程 4.无状态化Namenode, 支持热部署 5.简单主备策略保证可靠性 详情参见附件 ...
LightWeightGSet(hadoop namenode 保存block的数据结构)
hsh8819的专栏
08-24 278
为了降低保存block的内存开销，同时保证访问效率，namenode使用 LightWeightGSet这一数据结构。 LightWeightGSet同HashMap一样使用数组 + 链表的结构，但是有几点不同： 数组长度初始化时就确定了，以后不会再变化，所有没有rehash。 本质上不是key/value存储结构。value是key的子类，所以value自身就包含了key的信息，通过key...
如何分担NameNode的压力
05-28
为了分担NameNode的压力，可以采取以下措施： 1. 增加NameNode的硬件资源，例如增加内存、CPU等，并优化其配置。这样可以提高其处理能力，减轻其负担。 2. 使用Secondary NameNode。Secondary NameNode会定期将...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值