Hdfs Namenode Namespace分析

最新推荐文章于 2024-02-07 17:03:32 发布
最新推荐文章于 2024-02-07 17:03:32 发布
阅读量552 收藏
点赞数
文章标签： hdfs hadoop big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wangyu2016/article/details/121770121
版权

Namenode上主要占用内存的实例

  1. org.apache.hadoop.hdfs.server.namenode.INodeFile

  2. org.apache.hadoop.hdfs.server.blockmanagement.BlockInfoContiguous

  3. org.apache.hadoop.hdfs.server.namenode.INodeDirectory

  4. org.apache.hadoop.hdfs.server.blockmanagement.BlockInfo

INode

表示HDFS上的具体一个节点

INodeFile

继承INode，文件节点

INodeDirectory

继承INode，目录节点

FSImageFormat

存储在硬盘上的namespace的具体格式

yu w
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Namenode
xingchenhy的博客
07-13 853
Namenode管理着文件系统的Namespace。它维护着文件系统树（filesystem tree）以及文件树中所有的文件和文件夹的元数据（metadata）。Namenode记录着每个文件中各个块所在的数据节点的位置信息，这些信息会在系统启动时从数据节点重建。 Namenode 结构图：         客户端代表用户与namenode和datanode交互访问整个文
HDFS文件系统命名空间
superSaiyaPeople的博客
03-18 6147
HDFS Namespace 在HDFS中，我们知道NameNode负责管理文件系统的命名空间，那么NameNode到底怎么管理HDFS的命名空间，又有哪些内容需要管理呢？我们接下来将讨论到这两个问题。 作为HDFS的Master，NameNode掌握着整个HDFS的文件目录树及其目录与文件，这些信息会以文件的形式永久地存储在本地磁盘。我们可以在$HADOOP_HOME/tmp/dfs/nam...
Hadoop HDFS
x_pohai2010的专栏
11-17 384
Hadoop文件系统使用分布式文件系统设计开发。它是运行在普通硬件。不像其他的分布式系统，HDFS是高度容错以及使用低成本的硬件设计。 HDFS拥有超大型的数据量，并提供更轻松地访问。为了存储这些庞大的数据，这些文件都存储在多台机器。这些文件都存储以冗余的方式来拯救系统免受可能的数据损失，在发生故障时。HDFS也使得可用于并行处理的应用程序。   HDFS的特点   它适
[Flume基础]-- 配置 HDFS 的namespace 方法
欢迎来到我的博客，一起探索代码里的世界！
04-13 1212
 参考： (1)官方文档：http://flume.apache.org/FlumeUserGuide.html (2)中文文档：http://download.csdn.net/download/high2011/9812414 1、举例 (1)编辑flume-conf.properties文件 内容如下： # example.conf: A single-node Flum...
HDFS名字空间（NameSpace）
热门推荐
Ele_sorriu的博客
10-12 2万+
名字空间（NameSpace） 目标：掌握什么是“名字空间” HDFS 支持传统的层次型文件组织结构。用户或者应用程序可以创建目录，然后将文件保存在这些目录里。文件系统名字空间的层次结构和大多数现有的文件系统类似：用户可以创建、删除、移动或重命名文件。 Namenode 负责维护文件系统的名字空间，任何对文件系统名字空间或属性的修改都将被Namenode 记录下来。 HDFS 会给客户端提供一个统一的目录树，客户端通过路径来访问文件，形如：hdfs://namenode:port/dir-a/dir-b/d
HDFS NameNode恢复流程详解
SparkZZW的博客
11-03 1465
NameNode 一、NameNode简介 NameNode节点像是整个HDFS集群的管理节点，存放着元数据 元数据（Metadata），又称中介数据、中继数据，为描述数据的数据（data about data），主要是描述数据属性的信息 NameNode主要有这么几个职责： ​ 负责客户端请求的响应 ​ 元数据的管理（查询，修改） NameNode对数据的管理采用了三种存储形式： 1. 内存元数据(NameSystem) 2. 磁盘元数据镜像文件（fsimage） 3. 数据操作日志文件（
搭建Hadoop HA 高可用bin/hdfs namenode -bootstrapStandby同步nn1 节点报错build = Unknown -r Unknown； compiled by
yidianyidei的博客
08-19 1628
文章目录nn1 节点格式化后 执行nn2 数据节点同步找关键报错配置文件core.site.xmlhdfs-site.xml背景再次同步nn1 节点 nn1 节点格式化后 执行nn2 数据节点同步 [root@hadoop103 hadoop-2.7.2]# bin/hdfs namenode -bootstrapStandby 20/08/13 23:37:08 INFO namenode.NameNode: STARTUP_MSG: /*********************************
hadoop 源码分析（一）HDFS nameNode 之 httpServer启动源码分析
wangxuelei036的博客
01-07 530
一、HDFS概述 基于hadoop2.6 HDFS被设计能够运行在通用硬件上、提供流式数据操作、能够处理超大文件的分布式文件系统。 特点：高容错和高吞吐量、易扩展、高可靠性 HDFS的四个核心模块：namenode节点、datanode节点、客户端、HDFS协议（RPC协议、流式接口协议:HTTP和TCP） 这里一些基本的概念我们就不重复叙述了，毕竟都是看源码的人了，连基本操作都不会我肯定是不信的所以我们直接进入正题 二、nameNode 之 httpServer启动源码分析 源码分析是一个缓慢的过
Hadoop HDFS（NameNode、DataNode和HA高可用）
sjjsaaaa的博客
05-21 1375
一、NameNode和SecondaryNameNode（面试开发重点） 1 NN和2NN工作机制 思考：NameNode中的元数据是存储在哪里的？ 如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。 NN和2NN工作机制 1.第一阶段：NameNode启动 第一次启动NameNode格式化后，创建Fsimage和Ed
hadoop 源码分析（二）HDFS nameNode 之 FSNamesystem初始化源码分析之加载fsImage 和 edits log
wangxuelei036的博客
01-16 779
上一篇 讲解了nameNode启动的时候，NameNodeHttpServer的启动流程，其实简单来说就是基于hadoop自己实现的HttpServer2服务绑定一个InetSokcetAddress地址，也就是端口号，端口号哪来的？默认配置文件获取呗，最后在将HttpServer2中绑定一些servlet来处理url请求就完成了我们50070端口的请求处理。 那么本篇分析nameNode进程第二个比较核心的，应该说是最核心的组件FSNamesystem，为什么说是最核心组件呢，因为元数据管理和bloc.
HDFS 之 数据管理(namespace 和 slaves)
最新发布
qwerty1372431588的博客
02-07 314
Namespace在HDFS中是一个非常重要的概念，也是有效管理数据的方法。Namespace有很多优点：可伸缩性。使HDFS集群存储能力可以轻松进行水平拓展；系统性能。单点性能受限，影响系统吞吐；隔离性。不同业务类型访问集群有时容易互相干扰，使用多Namespace可以有效管理访问分类。
namenode维护命名空间
Harden_zsc的博客
10-09 9172
1.客户端创建一个文件，目录树相对应生成一条对应数据； 2.客户端删除一个文件，目录树相对应删除一条对应数据；
HDFS
anhuidelinger的专栏
04-23 2319
转载地址：（很好的博客）         http://blog.jeoygin.org/category/technology/hadoop HDFS概况 一个HDFS系统一般由一个namenode和多个datanode构成，可能还有一个secondary namenode。其
一篇文章了解HDFS名称空间NameSpace
尹忠政的博客
10-24 6625
一篇文章了解HDFS名称空间NameSpace 文章目录一篇文章了解HDFS名称空间NameSpaceNamespace（名称空间）文件结构文件系统元数据（第一行）imgVersionnumFilesgenStamp目录元数据pathreplicasmtimeatimeblocksiznsQuotadsQuotausernamegroupperm文件元数据(包含目录元数据)blockidnumBytesgenStampFSImageEditsBlocksMap数据结构原理LightWeightGSet构造方
HDFS基础篇（中）
Dafei_Rabbit的博客
03-19 1869
HDFS的读写流程
HDFS Federation
04stone37
09-19 212
Federation机制 Federation机制是HDFS集群Namespace的水平扩展方案，解决了单个Namenode的内存和性能问题； Federation原理 如下图所示，管理节点为Namenode集群，集群中的每个Namenode相互独立，负责管理Namespace的部分服务，DataNode与所有的Namenode建立连接，发送周期性心跳和块报告。 Federation优点 Na...
NameNode概述
王小禾
02-23 2372
参考： HDFS NameNode内存全景 1.概述 从NameNode涉及到的主要操作来讲，主要概念如下： 目录树：命名空间namespace 数据块管理 租约管理 FSNamesystem：NameNode逻辑门面类 NameNode HA下的启动与停止 从内存的角度来讲，分类如下： 元数据： namespace blockManager NetWorkTopology Other: 租...
NameNode对命名空间的管理
weixin_34319999的博客
02-19 1850
最近继续在看《Hadoop 2.X HDFS源码剖析》，现在看到了第三章NameNode部分。NameNode在hdfs这种文件系统中充当着master的角色，负责的功能有很多比如文件系统目录管理（命名空间管理）、数据块管理、数据节点管理、租约管理、缓存管理等等。这次主要写关于命名空间管理的笔记。基本类型hdfs中最基本的类应该就是INode了，无论是最后的目录、具体文件、软...
HDFS的NameNode中的Namespace管理
aohuang8877的博客
09-08 1380
在NameNode中的Namespace管理层是负责管理整个HDFS集群文件系统的目录树以及文件与数据块的映射关系。以下就是Namespace的内存结构： 以上是一棵文件目录树，可见Namespace本身其实是一棵巨大的树。在这棵树中INodeFile表示文件，INodeDirectory表示文件目录。在HDFS中的实现中，INodeFile和INodeDirectory都...
HDFS NameNode与SecondaryNameNode工作机制详解
NameNode在HDFS中的角色至关重要，它维护着文件系统的命名空间（namespace）和文件块映射信息（block mapping）。当NameNode首次启动时，如果这是初次格式化，会创建两个关键文件：fsimage和edits。fsimage文件包含...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值