NameNode与DataNode通信机制

最新推荐文章于 2024-05-22 17:02:30 发布
最新推荐文章于 2024-05-22 17:02:30 发布
阅读量1.8k 收藏 2
点赞数
文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huaxia2002/article/details/119911535
版权

NameNode与DataNode通信机制

  1. 通信种类

    1. 心跳(默认3秒一次,携带NameNode发送给Datanode的命令)
    2. 上下线探测(默认10分钟+30秒,10分钟后无法通信则判定为下线),计算公式:timeout = dfs.datanode.heartbeat-recheck2 + 10 heartbeat.interval
    3. 块信息上报(1小时),将namenode的文件的block信息上报给namenode

  2. 通信过程

    1. datanode启动,向namenode上报注册信息
    2. namenode回复注册成功
    3. datanode每一小时上报块信息
    4. 3秒一次心跳,携带命令消息
    5. 10分钟+30秒无心跳后,判定下线

  3. 白名单及黑名单机制(略)

huaxia2002
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
NameNode和DataNode通信机制
paul_wei2008的专栏
02-20 6589
备注： client和namenode之间是通过rpc通信； datanode和namenode之间是通过rpc通信； client和datanode之间是通过简单的socket通信。 写数据：Blk A,Blk B,Blk C分别需要写入1，5，6 DN上，namenode询问1是否准备好，1问5是否准备好，5问6是否准备好，1,5，6之间创建一个pipe
NameNode和DataNode之间的交互
Xlucas的博客
10-09 3030
简介 HDFS的设计核心是提高处理数据的吞吐量而不是低延迟，因此更适合数据的批处理，而非交互式处理，HDFS弱化了一些POSIX语义以获求吞吐量提升。HDFS对存储在其上的数据使用了一次写入多次读取的文件控制模型，一旦一个文件被写入并且存储到HDFS系统上，只可以追加写入该文件而不能修改，从而达到提高吞吐量的目标 NameNode可以执行以下HDFS功能 1、执行所有的HDFS操作，如打开/关闭文...
Hadoop3：HDFS中DataNode与NameNode的工作流程
最新发布
Brave_heart4pzj的博客
05-22 646
Hadoop
Hadoop理论及实践-HDFS的Namenode及Datanode（参考Hadoop官网）
Matrix70的博客
08-03 3611
本篇博客参照hadoop官网，介绍HDFS的NN及DN，副本存放机制（机架感知策略），安全模式，文件系统元数据持久化（editlog,fsimage）,HDFS健壮性，数据组织及存储空间的回收，重点介绍DataNode及NameNode及机架感知策略
DataNode与Namenode的互动
weixin_33802505的博客
11-01 434
2019独角兽企业重金招聘Python工程师标准>>> ...
客户端和NameNode、DataNode通信过程
ThreeAspects的博客
12-18 2846
client和NameNode之间是通过RPC通信 DataNode和NameNode之间是通过RPC通信 client和DataNode之间是通过简单的Socket通信 以HDFS读写文件为例：   NameNode主要负责管理文件系统的命名空间、集群配置信息和存储块的复制等。NameNode会将文件系统的Meta-data存储在内存中，这些信息主要包括了文件信息、每一个文件对应的文件块的信...
namenode与datanode的通信原理
01-11 2690
分析DataNode时, 因为DataNode上保存的是数据块, 因此DataNode主要是对数据块进行操作 A. DataNode的主要工作流程: 客户端和DataNode的通信: 客户端向DataNode的数据块读写, 采用TCP/IP流接口(DataXceiver)进行数据传输 客户端在检测到DataNode异常, 主动发起的数据块恢复, 客户端会通过ClientDatanod
【云平台技术】作业五
qq_51941741的博客
06-29 995
当NameNode启动的时候，FsImage镜像文件就会被加载到内存中，然后对内存里的数据执行记录的操作，以确保内存所保留的数据处于最新的状态，这样就加快了元数据的读取和更新操作。（10）客户端向DataNode_01上传第一个Block数据块，当DataNode_01收到一个Packet就会传给DataNode_02，DataNode_02传给DataNode_03，DataNode_01每传送一个Packet都会放入一个应答队列等待应答。（4）客户端请求上传第一个Block数据块以及数据块副本的数量；
HDFS的心跳机制
tianfxin的博客
09-25 695
DataNode默认向NameNode每隔3秒汇报一次，主要汇报2点：一点是DataNode的状态信息，另一个是自身DataNode所持有的所有的数据块的信息。 按照规定，每个DataNode都需要向NameNode汇报，如果某一时刻开始，某个DataNode不汇报了，可能就是宕机了（只要通过玩过传输数据，就可能存在丢失或延迟）。HDFS规定：NameNode连续10次没有收到汇报，便认为可能存在宕机的可能。 DataNode启动好之后，会专门启动一个线程，去专门负责心跳数据包，如果整个Da...
Hadoop 中的 NameNode 和 DataNode 之间的心跳机制
mafish
10-14 2387
最近需要在 Hive 中实现 C/S 端的心跳，而心跳在 Hadoop 中被广泛使用，因此首先要清楚 Hadoop 中的心跳是如何实现的。在 Hadoop 中，NameNode 和 DataNode 之间、JobTracker 和 TaskTracker 之间都会有心跳信息，选取前者进行分析。 Hadoop 中通过心跳消息来确定 DataNodes 的有效性。对于超过时间未收到心跳消息的 Dat...
Hadoop DataNode小结
08-08 176
  在分析DataNode时, 因为DataNode上保存的是数据块, 因此DataNode主要是对数据块进行操作.  **A. DataNode的主要工作流程:**   1. 客户端和DataNode的通信: 客户端向DataNode的`数据块读写`, 采用TCP/IP流接口(DataXceiver)进行数据传输   2. 客户端在检测到DataNode异常, 主动发起的`数据块恢复...
HDFS的namenode和datanode
Murphyt的专栏
11-29 1174
一、概述 HDFS集群以Master-Slave模式运行，主要有两类节点：一个Namenode(即Master)和多个Datanode(即Slave)。 HDFS Architecture： 二、Namenode Namenode 管理者文件系统的Namespace。它维护着文件系统树(filesystem tree)以及文件树中所有的文件和文件夹的
hadoop课后题带答案（期末考试复习）
热门推荐
qq_53891711的博客
03-19 1万+
1.大数据的4V特征包含大量、多样、高速和价值。2.Hadoop三大组件包含HDFS、MapReduce和Yarn。3.Hadoop2.x版本中的HDFS是由NameNode、DataNode和Secondary NameNode组成。4.Hadoop发行版本分为开源社区版和商业版。5.目前Apache Hadoop发布的版本主要有Hadoop1.x、Hadoop2.x和Hadoop3.x。6.Hadoop集群的部署方式分别是独立模式、伪分布式模式和完全分布式模式。
hadoop中NameNode、DataNode和Client三者之间协作关系及通信方式介绍
jiaaq2008的博客
04-03 965
  1）NameNode、DataNode和Client         NameNode可以看作是分布式文件系统中的管理者，主要负责管理文件系统的命名空间、集群配置信息和存储块的复制等。NameNode会将文件系统的Meta-data存储在内存中，这些信息主要包括了文件信息、每一个文件对应的文件块的信息和每一个文件块在DataNode的信息等。DataNode是文件存储的基本单元，它将Bl...
Hadoop之namenode和datanode通信机制
weixin_48810293的博客
09-11 658
通信导图 注：如果namenode检测到某台节点停止的心态汇报，则会持续再检测十次，如果还没有的话会在五分钟后ping该节点，ping不通的话会在等五分钟再次ping，如果还是ping不通的话则宣布该节点宕机。 宣布一台节点宕机用时10分30秒！ ...
NameNode和DataNode之间的通信
weixin_47681855的博客
09-29 2093
NameNode(主节点) 接收DN的注册信息 并返回唯一的集群ID和统一的存储目录和UUID 接收DN汇报的磁盘空间和存储情况 分配存储任务给DN 接收DN的心跳机制和数据汇报 维护元数据信息的副本个数,给DN分配副本任务 管理和维护数据的存储信息(存储位置有:内存+磁盘 并且会复制子多份) 接收客户端发送的上传和下载的请求 并返回元数据的存储信息 给客户端提供虚拟的文件列表(shell命令) 从节点注册后发给DN的集群ID 注意: 若从节点个数有限,当主节点分配...
namenode和datanode工作机制_namenode和datanode的工作机制
weixin_32950005的博客
12-29 924
namenode工作机制1、namenode职责(1)负责客户端请求的响应(2)元数据的管理(查询，修改)2、元数据管理namenode对数据的管理采用了三种存储形式：内存元数据(NameSystem)磁盘元数据镜像文件数据操作日志文件(可通过日志运算出元数据)2.1元数据存储机制内存中有一份完整的元数据(内存meta data)磁盘有一个“准完整”的元数据镜像(fsimage)文件(在namen...
Hadoop中NameNode、DataNode和Client三者之间的通信方式是什么？怎样进行合作？
FisherWang_CN
06-03 8572
Hadoop中NameNode、DataNode和Client三者之间的通信方式是什么？怎样进行合作？
namenode和datanode的工作机制
shaonianbz的博客
04-28 2951
namenode工作机制 1、namenode职责 （1）负责客户端请求的响应 （2）元数据的管理（查询，修改） 2、元数据管理 namenode对数据的管理采用了三种存储形式： 内存元数据(NameSystem) 磁盘元数据镜像文件 数据操作日志文件（可通过日志运算出元数据） 2.1元数据存储机制 内存中有一份完整的元数据(内存meta data) 磁盘有一个“准完...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值