Namenode ， DataNode 的作用

最新推荐文章于 2023-09-12 11:20:12 发布
最新推荐文章于 2023-09-12 11:20:12 发布
阅读量3.1k 收藏 1
点赞数 2
文章标签： hdfs namenode dataname
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lxpqxl/article/details/102968899
版权

Namenode作用

一:管理，维护文件系统的元数据/名字空间/目录树               管理数据与节点之间的映射关系（管理文件系统中每个文件/目录的block块信息），

二:管理DataNode汇报的心跳日志/报告

三:客户端和DataNode之间的桥梁（元数据信息共享）

 

DataNode作用

一:负责数据的读写操作

二:周期性的向NameNode汇报心跳日志/报告

三:执行数据流水线的复制

lxpqxl
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
HDFS体系结构(NameNode、DataNode详解)
03-30
HDFS体系结构(NameNode、DataNode详解)
Ambari修改DataNode存储目录
01-20
操作背景： HDFS DataNode定义的存储目录不正确或HDFS的存储规划变化时，需要修改DataNode的存储目录，以保障HDFS的正常工作，假定我们现在对应的HDFS数据盘位置为：/hadoop/hdfs/data; 预将数据目录迁移至/data/hadoop/hdfs/data目录底下； 目前操作系统受影响情况： 1） 更改DataNode存储目录需要停止HDFS服务，在此期间集群无法正常对外提供服务 2）需要修改Ambari中HDFS中DataNode 对应的目录 操作步骤： 1）切换到hdfs 用户 su – hdfs 2)在HDFS客户端下，执行命令，以检查HDFS根目录下全部
HDFS的概念-namenode和datanode.pdf
07-11
HDFS的概念-namenode和datanode.pdf 学习资料 复习资料 教学资源
HDFS之NameNode分析
01-30
大家都知道HDFS的架构由NameNode,SecondaryNameNode和DataNodes组成，其源码类图如下图所示：正如上图所示，NameNode和DataNode继承了很多的protocol用于彼此间的通信，其实nameNode还实现了RefreshUserMappingsProtocol和RefreshAuthorizationPolicyProtocol两个协议，用于权限控制和更新；实现了ClientProtocol协议用于和client端通信。通过此协议,client端可以操控目录空间，包括文件流读写等。比如：getBlockLocations方法可以获取具体某个文件在da
HDFS中NameNode和DataNode的作用
L
08-17 1万+
NameNode作用 NameNode在内存中保存着整个文件系统的名称空间和文件数据块的地址映射 整个HDFS可存储的文件数受限于NameNode的内存大小 1.NameNode元数据信息 文件名,文件目录结构,文件属性(生成时间,副本数,权限)每个文件的块列表.以及列表中的块与块所在的DataNode之间的地址映射关系 在内存中加载文件系统中每个文件和每个数据块的引用关系(文件,blo...
NameNode和DataNode的作用
热门推荐
qq_21853321的博客
10-19 2万+
NameNode的作用 1、 维护目录树，维护命名空间。 2、 负责确定指定的文件块到具体的Datanode结点的映射关系。（在客户端与Datanode之间共享数据） 3、管理Datanode结点的状态报告
Hadoop中HDFS的namenode和datanode的知识总结
qq_40589631的博客
08-08 7047
重点内容 一、NameNode和DataNode的基本介绍 1、NameNode的功能：（1）内存中完整的元数据（2）磁盘中近乎完整的元数据镜像文件（3）记录元数据操作信息的edits.log（4）存储block块和datanode间的映射关系。 2、NameNode的重要性（地位）：名称节点作为中心服务器，是HDFS的主从结构的担任中心枢纽，存储着元数据等重要信息。 ...
HDFS中的NameNode和DataNode的作用是什么？它们之间的通信方式是什么？
jakelihua
09-06 1398
在HDFS中，NameNode和DataNode之间通过RPC进行通信，以实现元数据的交换和数据的读写操作。具体来说，当NameNode需要与DataNode通信时，它会通过RPC调用DataNode的特定方法，如发送数据块、接收数据块等。同时，客户端还会将数据块的副本分发给其他DataNode，以实现数据的冗余存储。下面我将以一个面试者的身份，结合具体的案例和代码，来解释它们的作用以及它们之间的通信方式。具体的通信细节由底层的RPC框架处理，我们只需要关注方法的调用和数据的传输。
NameNode和DataNode在HDFS中的作用是什么？
最新发布
jakelihua
09-12 1894
然后，我们通过FileSystem.get()方法获取一个FileSystem对象，该对象表示与HDFS的连接。在这个过程中，NameNode负责处理创建目录、创建文件、删除文件和删除目录等操作的请求，并维护文件系统的元数据。DataNode负责存储文件的实际数据块，并执行数据块的复制和删除操作。接下来，我们使用FileSystem对象来创建一个目录（mkdirs()方法）和一个文件（create()方法），并向文件中写入数据。然后，我们使用open()方法打开文件，并读取其中的数据。
Hadoop理论及实践-HDFS的Namenode及Datanode（参考Hadoop官网）
Matrix70的博客
08-03 3091
本篇博客参照hadoop官网，介绍HDFS的NN及DN，副本存放机制（机架感知策略），安全模式，文件系统元数据持久化（editlog,fsimage）,HDFS健壮性，数据组织及存储空间的回收，重点介绍DataNode及NameNode及机架感知策略
NameNode职责.pptx
05-17
NameNode职责
Hadoop三大组件NameNode、DataNode、SecondaryNamenode的介绍
奇迹虎虎的博客
03-03 5588
NameNode是什么？DataNode是什么？SecondaryNamenode是什么？
HDFS角色职责超详细概述Namenode、Datanode、元数据管理+fsimage 内存镜像文件+ Edits log编辑日志、元数据加载顺序
qq_40585384的博客
12-11 5174
NameNode是HDFS的核心，集群的主角色，被称为Master。 NameNode仅存储管理HDFS的元数据：文件系统namespace操作维护目录树，文件和块的位置信息。NameNode不存储实际数据或数据集。数据本身实际存储在DataNodes中。 NameNode知道HDFS中任何给定文件的块列表及其位置。使用此信息NameNode知道如何从块中构建文件。NameNode并不持久化存储每个文件中各个块所在的DataNode的位置信息，这些信息会在系统启动时从DataNode汇报中重建。
大数据5-NameNode和DataNode详解
qq_32193775的博客
04-11 2561
Hadoop----NameNode和DataNode详解 NameNode namenode概述 namenode是整个文件系统的管理节点。它维护着 整个文件系统的文件目录树； 文件/目录的元信息和每个文件对应的数据块列表。 接收用户的操作请求。 namenode包含两个文件：FsImage(元数据镜像文件。存储某一时段NameNode内存元数据信息)和Editlog(操作日志文件） Nam...
NameNode的作用与DataNode的作用
tian_1_2_3的博客
10-19 1万+
NameNode： 1、 维护目录树，维护命名空间。 2、 负责确定指定的文件块到具体的Datanode结点的映射关系。（在客户端与Datanode之间共享数据） 3、管理Datanode结点的状态报告 DataNode： 1、 负责管理它所在结点上存储的数据的读写，及存储数据。 2、 向Namenode结点报告DataNode节点的状态。 3、 通过流水线复制实现三份数据副本 ...
HDFS中，NameNode，DataNode及SecondaryNameNode的作用(大数据面试高频二)
weixin_67766119的博客
10-05 2269
HDFS中，NameNode，DataNode及SecondaryNameNode的作用
大数据基础：HDFS（分布式文件系统）中，NameNode与DataNode的区别
Hanze的博客
11-21 4399
大数据基础：HDFS（分布式文件系统）中，NameNode与DataNode的区别概述DataNodeNameNode 概述 1、hsfs集群有两类节点（管理节点-工作节点）的运行模式，即一个namenode与多个datanode。 2、客户端（client）代表用户通过与namenode和datanode交互来访问整个系统，客户端提供一个类似于posix（可以移植操作系统界面）的文件系统接口，因此用户不需要知道datanode与namenode也可以实现其功能。 DataNode datanode是文件系
namenode 和 datanode区别
liyabing1的博客
04-13 5570
一、namenode 接收用户操作请求 维护文件系统的目录结构 管理文件与block之间关系，block与datanode之间关系 namenode管理：namenode支持对HDFS中的目录、文件和块做类似文件系统的创建、修改、删除、列表文件和目录等基本操作。 块存储管理 在整个HDFS集群中有且只有唯一一个处于active状态namenode节点，该节点负责对这个命名空间（HDFS）进行管理...
HDFS namenode 和 datanode功能
旧时明月
07-24 9876
namenode 和 datanode功能 【namenode】 接收用户操作请求 维护文件系统的目录结构 管理文件与block之间关系，block与datanode之间关系 namenode管理：namenode支持对HDFS中的目录、文件和块做类似文件系统的创建、修改、删除、列表文件和目录等基本操作。 块存储管理 在整个HDFS集群中有且只有唯一一个处于active状态namenode节点，
namenode和datanode的作用
04-06
NameNode和DataNode是Hadoop分布式文件系统中的两个不同的角色。NameNode负责管理整个分布式文件系统的命名空间，它保存了文件的元数据，包括文件名、文件大小、文件所在的数据块等信息。而DataNode则负责保存文件的实际数据，在分布式文件系统中的所有数据块都是由DataNode存储的。NameNode和DataNode通过心跳机制、块报告等方式进行通信，以确保整个分布式文件系统的稳定运行。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值