NameNode和DataNode笔记

最新推荐文章于 2023-08-03 17:07:33 发布
最新推荐文章于 2023-08-03 17:07:33 发布
阅读量190 收藏
点赞数
分类专栏： hadoop 文章标签： hadoop hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44855583/article/details/108686647
版权

NameNode用于储存元数据以及管理DateNode,DataNode负责存储用户真正存入的数据.
元数据可以分为两类.一类是虚拟路径与数据块实际存储路径的映射关系,一类是数据块的相关信息,例如存储位置,块id等.
当客户端请求向HDFS系统中存储数据时,首先向namenode发送存储请求和要存储到的虚拟路径,namenode收到后返回同意存储请求,客户端接着传回文件的第一块数据块,并告知namenode要备份几份.之后namenode告知客户端要传给哪几个datenode,然后分配全局唯一的块id.最后客户端通过块id与这几个datanode建立IO链接读写文件.

NEPT777
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop框架：NameNode工作机制详解
AI乔治
10-12 635
一、存储机制 1、基础描述 NameNode运行时元数据需要存放在内存中，同时在磁盘中备份元数据的fsImage，当元数据有更新或者添加元数据时，修改内存中的元数据会把操作记录追加到edits日志文件中，这里不包括查询操作。如果NameNode节点发生故障，可以通过FsImage和Edits的合并，重新把元数据加载到内存中，此时SecondaryNameNode专门用于fsImage和edits的合并。 2、工作流程 NameNode机制 NameNode格式化启动之后，首次会创建Fsimag
Hadoop三大组件NameNode、DataNode、SecondaryNamenode的介绍
奇迹虎虎的博客
03-03 5704
NameNode是什么？DataNode是什么？SecondaryNamenode是什么？
进行跨集群的数据迁移出现namenode切换，导致数据异常
teak_on_my_way的博客
08-19 322
因为有时候需要定时进行跨集群的数据迁移，所以需要进行跨集群传数据。这里采用distcp 指令进行传数据。但是这个指令只能指定已经活跃的NAMENODE。当出现主节点切换后会出现错误。所以采用先进行判断，后续进行传数据的操作。
大数据基础：HDFS（分布式文件系统）中，NameNode与DataNode的区别
Hanze的博客
11-21 4497
大数据基础：HDFS（分布式文件系统）中，NameNode与DataNode的区别概述DataNodeNameNode 概述 1、hsfs集群有两类节点（管理节点-工作节点）的运行模式，即一个namenode与多个datanode。 2、客户端（client）代表用户通过与namenode和datanode交互来访问整个系统，客户端提供一个类似于posix（可以移植操作系统界面）的文件系统接口，因此用户不需要知道datanode与namenode也可以实现其功能。 DataNode datanode是文件系
Hadoop理论及实践-HDFS的Namenode及Datanode（参考Hadoop官网）
最新发布
Matrix70的博客
08-03 3667
本篇博客参照hadoop官网，介绍HDFS的NN及DN，副本存放机制（机架感知策略），安全模式，文件系统元数据持久化（editlog,fsimage）,HDFS健壮性，数据组织及存储空间的回收，重点介绍DataNode及NameNode及机架感知策略
NameNode和DataNode
weixin_43995212的博客
10-18 436
1 ,NameNode NameNode在内存中保存着整个文件系统的名称 空间和文件数据块的地址映射 整个HDFS可存储的文件数受限于NameNode的内存大小 1，管理元数据信息 2，管理数据块（Block）映射信息 ，配置副本策略 3，处理客户端读写请求。 4，NameNode心跳机制 全权管理数据块的复制，周期性的接受心跳和块的状态报告信息（包 含该DataNode上所有数据块的列表） 若接...
namenode和datanode工作机制_HDFS的namenode和datanode详解
weixin_39942572的博客
12-19 1311
一、概述HDFS集群以Master-Slave模式运行，主要有两类节点：一个Namenode(即Master)和多个Datanode(即Slave)。HDFS Architecture： 二、NamenodeNamenode 管理者文件系统的Namespace。它维护着文件系统树(filesystem tree)以及文件树中所有的文件和文件夹的元数据(metadata)。管理这些信息的文件有两个，...
9、DateNode
ZJ__ZFH的博客
09-11 1713
DateNode工作机制 datenode工作机制.png 一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。 DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有的块信息。 心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命...
NameNode和DataNode的作用
热门推荐
qq_21853321的博客
10-19 2万+
NameNode的作用 1、 维护目录树，维护命名空间。 2、 负责确定指定的文件块到具体的Datanode结点的映射关系。（在客户端与Datanode之间共享数据） 3、管理Datanode结点的状态报告
namenode与datenode
Dimples.
11-07 1456
HDFS上有两类节点以管理节点-工作节点进行，即一个namenode(管理节点)和多个datenode(工作节点)。 namenode 管理文件系统的命名空间，它维护着文件系统树及整棵树上所有文件和目录。这些信息以两个文件形式永久保存在本地磁盘上：命名空间镜像文件(FS_image)和编辑日志文件(Edit_log)。namenode也记录着每个文件中各个块所在的数据节点信息(包括副本数，用...
HDFS中的NameNode和DataNode
weixin_34416754的博客
06-16 313
HDFS集群中以Master-Slave模式运行，主要有两类节点：一个Namenode节点(即master)和多个Datanode节点。Namenode管理文件系统的Namespace.他维护着文件系统树以及文件树中所有的文件和文件夹的元数据。 hdfs架构图： Namenode:Namenode管理文件系统的Namespace。它维护着文件系统...
Hadoop 获取Active Namenode的IP地址
天道酬勤的博客
08-23 8903
由于工作需要，需要拿到当前集群的Active Namenode的Ip地址，所以写以下小代码，防止忘记，记录一下： import java.io.IOException; import java.net.InetSocketAddress; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.f...
Hadoop 学习总结之一：HDFS简介
diebiaosang4496的博客
03-14 420
一、HDFS的基本概念 1.1、数据块(block) HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。 和普通文件系统相同的是，HDFS中的文件是被分成64M一块的数据块存储的。 不同于普通文件系统的是，HDFS中，如果一个文件小于一个数据块的大小，并不占用整个数据块存储空间。 1.2、元数据节点(Namenode)和...
Hadoop的HDFS中namenode和datenode内容分析
llc1984513的博客
01-09 1万+
NameNode：是Master节点，是大领导。管理数据块映射；处理客户端的读写请求；配置副本策略；管理HDFS的名称空间； SecondaryNameNode：是一个小弟，分担大哥namenode的工作量；是NameNode的冷备份；合并fsimage和fsedits然后再发给namenode。 DataNode：Slave节点，奴隶，干活的。负责存储client发来的数据块bloc
datanode与namenode的通信
weixin_34357962的博客
03-02 201
在分析DataNode时, 因为DataNode上保存的是数据块, 因此DataNode主要是对数据块进行操作. A. DataNode的主要工作流程1. 客户端和DataNode的通信: 客户端向DataNode的`数据块读写`, 采用TCP/IP流接口(DataXceiver)进行数据传输 2. 客户端在检测到DataNode异常, 主动发起的`数据块恢复`, 客户端会通过ClientDat...
启动NameNode和DataNode
简单记录生活、学习
07-13 9199
只想启动namenode或是datanode： hadoop-daemons.sh start namenode hadoop-daemons.sh start datanode daemons（守护进程）
hadoop nameNode和dataNode怎么管理
zhou920786312的博客
03-12 1036
mini4（dataNode）的文件怎么知道mini-yum(nameDate)的呢？ 或者说别的集群的nameNode可以加入到当前的mini-yum中吗？ 首先查看dataNode的文件信息 下图有2处重要的信息 第一个红框的内容是怎么来的呢，其实第一个红框的内容是来自namenode,怎么说？请看namenode的信息 有上图可以知道，datanode的版本信息来自...
NameNode和DataNode之间的通信
weixin_47681855的博客
09-29 2095
NameNode(主节点) 接收DN的注册信息 并返回唯一的集群ID和统一的存储目录和UUID 接收DN汇报的磁盘空间和存储情况 分配存储任务给DN 接收DN的心跳机制和数据汇报 维护元数据信息的副本个数,给DN分配副本任务 管理和维护数据的存储信息(存储位置有:内存+磁盘 并且会复制子多份) 接收客户端发送的上传和下载的请求 并返回元数据的存储信息 给客户端提供虚拟的文件列表(shell命令) 从节点注册后发给DN的集群ID 注意: 若从节点个数有限,当主节点分配...
Hadoop中HDFS的namenode和datanode的知识总结
qq_40589631的博客
08-08 7143
重点内容 一、NameNode和DataNode的基本介绍 1、NameNode的功能：（1）内存中完整的元数据（2）磁盘中近乎完整的元数据镜像文件（3）记录元数据操作信息的edits.log（4）存储block块和datanode间的映射关系。 2、NameNode的重要性（地位）：名称节点作为中心服务器，是HDFS的主从结构的担任中心枢纽，存储着元数据等重要信息。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值