NameNode的元数据管理及HA

最新推荐文章于 2023-11-29 22:30:10 发布
最新推荐文章于 2023-11-29 22:30:10 发布
阅读量1.1k 收藏 4
点赞数
分类专栏： HDFS 文章标签： hdfs hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_22042675/article/details/109913854
版权
1、NameNode的元数据管理

    NameNode是HDFS主从架构的主节点的守护进程，其主要作用为：

  1. 负责相应客户端的读写请求
  2. 管理HDFS的元数据
  3. 配置和应用副本存放策略
  4. 管理集群数据块负载均衡问题


        NameNode在内存和磁盘中都会保存一份完整的元数据信息，其中主要是磁盘中的元数据进行管理。磁盘中的元数据保存的位置在hdfs-site.xml中配置

    在这里插入图片描述
    其中主要是是三种文件：
      fsimage 磁盘元数据镜像文件
      edits_000… 历史编辑日志
      edits_inprogress 数据预写操作日志文件
    edits_inprogress 是当前namenode记录操作日志正在写入的文件，每隔两分钟edits_inprogress就会变成历史编辑日志。fsimage文件等价于多个edits文件合并成的，一份完整的metadata=最新的fsimage+edits_inprogress。
     如果集群没有设置HA模式，那么元数据的checkpoint由secondaryNameNode来完成，否则由standby的Namenode来完成。SecondaryNamenode每隔一段时间就会从namenode拉取积累的edits和一个最新的fsimage到内存进行merge，这个过程就是元数据的checkpoint，但是假如namenode宕机从secondaryNameNode不能恢复完整的元数据信息，因为合并元数据需要时间，两者有时间差且edits_inprogress文件s
最低0.47元/天 解锁文章
LT若要好
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop之NameNode Federation图文详解
08-26
1. Namespace的限制：由于NameNode将所有元数据存储在内存中，因此单个NameNode所能存储的对象数目受到NameNode所在JVM的heap size的限制。例如，50G的heap能够存储20亿个对象，这20亿个对象支持4000个DataNode，12...
深入理解Linux文件系统及日志分析 超简单易懂
CNFANG的博客
10-26 383
深入理解Linux文件系统及日志分析一、INODE与BLOCK1.1、inode与block概述1.2、inode的内容二、软连接与硬链接2.1、连接文件三、恢复误删除的文件3.1、EXT类型文件恢复1、下面将介绍使用extundelete工具如何恢复误删除的文件。 一、INODE与BLOCK 1.1、inode与block概述 文件是存储在硬盘上的，硬盘最小存储叫做扇区，每个扇区512字节 操作系统读取硬盘信息，不会一个一个扇区读取。实际情况一下连续读取 多个扇区，一次性读取多个扇区，叫做块(Block)
Hadoop笔记
qq_62702752的博客
07-02 446
1.数据体量大：一般中小型公司是以TB为单位来进行操作，大型公司是以PB为单位2.数据的种类和来源多：种类：文本、图片、音频、视频、flash、地图等，来源：日志、爬虫、网页埋点、数据库、手动录入等3.数据的增长速度越来越快。随着网络的发展，数据的产生速度和传播速度越来越快的4.数据的价值密度越来越低。价值密度越来越低不意味着数据越来越少，正相反，数据越来越多，只是需要的数据的增长速度比不上样本总量的增长速度5.数据的价值/真实性。
HDFS中namenode的HA高可用机制
liuwei(C/C++)
09-22 3471
一、HDFS namenode HA需要实现：HA主备切换，同步元数据，防止脑裂 主备切换： 1. hadoop内部为每个namenode进程另外配置一个进程，叫DFSZKFailoverController（基于zookeeper的失败切换的控制器），简称zkfc。 2.将zkfc独立出来而不是在namenode程序内部实现的目的：实现可配置，可插拔，若用户对此失败切换
NameNode的HA机制
LINBE_blazers的博客
03-05 2872
1 HA机制 NameNode维护了HDFS所有的元数据信息，当该节点所在服务器宕机或服务不可用时，整个HDFS都将处于不可用状态，那么怎么才能避免这个NameNode节点宕机呢？一个容易想到的解决方案是部署两台NameNode节点，形成主备模式（active/standby模式），这样一旦active节点宕机，standby节点立即切换到active模式。事实上HA机制就是采取的这种方案。但实现该机制，需要解决以下问题： 1）为什么选择主备模式，而不是主主模式（active/active模式）？也即让
HDFS中的NAMENODE元数据管理（超详细）
weixin_49750432的博客
08-05 3495
文件自身属性信息文件名称、权限、修改时间，文件大小、复制因子、数据块大小文件块位置映射信息记录文件块和DataNode之间的映射信息，即哪个块位于哪个结点上按照存储形式分别为内存元数据和元数据文件两种，分别存在内存和磁盘上SNN可以减小edits logs文件的大小和得到一个最新的fsimage文件，这样也会减小在namenode上的压力。
HBase单点问题分析及分布式元数据管理方案
03-16
在Hadoop的分布式文件系统HDFS中，Namenode是一个至关重要的组件，它负责管理和维护整个文件系统的元数据。然而，这种单点设计带来了明显的风险，即一旦Namenode出现问题，整个HDFS集群可能无法正常运行，这就是所谓...
Hadoop-2.0-NameNode-HA和Federation实践1
08-08
在Hadoop 2.0的HA架构中，两个NameNode（一个活动NN和一个备用NN）共享同一份元数据，这通常通过NFS（Network File System）实现。当活动NN进行元数据更新时，会立即同步到共享存储，确保即使活动NN故障，备用NN也能...
Hadoop HA集群启动.docx
08-23
在首次配置HA时，需要对NameNode进行格式化，创建必要的元数据。这一步骤会在Active和Standby NameNode之间共享，确保数据同步。在`master`节点上执行`hdfs namenode -format`命令。 3. **注册ZNode**： Hadoop ...
hadoop_HA版本的配置
04-11
NameNode是HDFS的元数据管理器，而ResourceManager负责YARN资源调度。在HA模式下，每个组件都有两个活动/备用实例，这样当一个实例失效时，另一个可以无缝接管。 在配置Hadoop HA时，我们通常需要以下步骤： 1. **...
Hadoop生态圈（十三）- Namenode元数据管理及各组件工作机制
程序园@大Null
01-24 2832
Namenode元数据管理，namenode和SecondaryNamenode工作机制，DataNode工作机制，DataNode数据完整性，DataNode掉线时限参数设置，Namenode元数据恢复，SecondaryNamenode checkpoint机制，fsimage内存镜像文件，Edits log编辑日志，Namenode存储多目录，元数据管理相关目录文件，内存元数据，磁盘元数据
NameNode中元数据存储问题及工作机制
机械工程跑路哥
01-10 2606
一. NameNode中的元数据存在哪？ 答：如果存储在 NameNode 节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的Fsimage。 这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新 Fsimage，就会导致效率过低，但如果不更新，就会发生一致性问题，一旦 NameNode 节点断电，就会产生数据丢失。 因此，引入Edits文件（不进行计算，
NameNode 元数据以及查看元数据的方式
weixin_30646505的博客
07-18 1681
HDFS中NameNode工作机制1.NameNode的主要功能（1）负责客户端请求的响应； （2）负责元数据的管理。 2.元数据管理namenode对数据管理采用了三种存储形式： （1）内存元数据； （2）磁盘元数据镜像文件； （3）数据操作日志文件（可以通过日志运算出元数据）。 2.1元数据的存储机制（1）内存中有一份完整的元数据（meta data）； （2）磁盘中...
Hadoop——（HDFS存储机制（读写），NameNode如何管理和存储元数据，HDFS元数据管理流程，NameNode与SecondaryNameNode，Fsimage与Edits文件解析）
qq_43408367的博客
04-10 1042
序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储（持久化）和网络传输。反序列化就是将收到字节序列（或其他数据传输协议）或者是硬盘的持久化数据，转换成内存中的对象。Java的序列化是一个重量级序列化框架（Serializable），一个对象被序列化后，会附带很多额外的信息（各种校验信息，header，继承体系等），不便于在网络中高效传输。所以，hadoop自己开发了一套序列化机制（Writable），精简、高效。
九、hdfs中Namenode元数据处理
最新发布
2301_79149013的博客
11-29 442
在hdfs文件系统中，用户的每一次操作，都会对文件系统产生响应的影响，那么谁来记录这些影响呢？在hdfs文件系统中，edits文件记录了hdfs中的每一次操作，以及本次操作影响的文件其对应的block。但于此同时，会产生一个问题，那就是随着时间的推移，hdfs文件系统中的edits文件会越来越大，这是hdfs文件系统会将edits文件进行切分处理，以避免个别edits文件过大现象。那么，是那个用户来统筹和操作edits文件呢？答案是Namenode用户。
NameNode元数据及checkpoint分析--转载
z7one
08-25 1312
NamNode NameNode 的主要作用是 负责管理文件系统的命名空间、集群配置信息和存储块的复制； 维护着整个文件系统的文件目录树和文件根目录的元信息和每个文件对应的数据块列表； 接收用户的操作请求； 管理文件与block之间的关系，block与DataNode之间的关系； NameNode 的启动流程为： Loading fsimage - 从fsimage file中读取最新的文件系统的元数据快照(最近生成的fsimage_xx) Loading edits - 读取包含fsimag
大数据理论篇 No.7-从NameNode聊起，介绍一下HDFS元数据的Checkpoint
pezynd的专栏
11-28 447
NameNode NameNode是HDFS（Hadoop分布式文件系统）的元数据管理进程，是整个HDFS的Master节点，管理HDFS命名空间、数据块映射的节点、副本策略等等。而这些数据是已文件的形式存在磁盘上的，他们分别是：fsimage和editslog。 fsimage：镜像，namenode元数据文件，存在磁盘；是NameNode内存元数据对应磁盘上的映射。 editslog：文件操作日志，也是存在磁盘，只有追加操作，效率很高。 fsImage 文件和 editslog 文件
大数据学习之路8-NAMENODE元数据管理机制
爱米酱的博客
08-08 1571
1.namenode的元数据放在内存加磁盘中。 为什么要放在内存中？   因为客户端经常要做一些操作。 那么namenode放在内存中是什么东西？   是一颗树，这个树其实就是一个对象。我们可以估计一下这个对象的大小。每记录一个块，就要耗费大概150Byte。假如我们存10个块，就是1.5k，存10000个块就是1.5M,再扩大1000倍就是1.5G。这里只是namenode的大小，如果一个块...
NameNode存储的元数据信息
qq_43193797的博客
01-04 3591
如图NameNode类中的信息 包含俩个内容 （1）filename   ---->块的个数，FSImage和edits文件加载 （2）block  块存储主机------>dataNode汇报的块存储主机位置...
HA同步namenode元数据出现 java.lang.NullPointerException
10-13
这个错误通常是由于某些配置或环境问题引起的。建议检查以下几个方面： 1. 检查Hadoop配置文件中的所有必需属性是否正确设置。 2. 检查Hadoop集群中所有节点的硬件和软件配置是否一致。 3. 检查Hadoop集群中所有...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值