NameNode与DataNode通信机制

最新推荐文章于 2024-05-22 17:02:30 发布
最新推荐文章于 2024-05-22 17:02:30 发布
阅读量1.8k 收藏 2
点赞数
文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huaxia2002/article/details/119911535
版权

NameNode与DataNode通信机制

  1. 通信种类

    1. 心跳(默认3秒一次,携带NameNode发送给Datanode的命令)
    2. 上下线探测(默认10分钟+30秒,10分钟后无法通信则判定为下线),计算公式:timeout = dfs.datanode.heartbeat-recheck2 + 10 heartbeat.interval
    3. 块信息上报(1小时),将namenode的文件的block信息上报给namenode

  2. 通信过程

    1. datanode启动,向namenode上报注册信息
    2. namenode回复注册成功
    3. datanode每一小时上报块信息
    4. 3秒一次心跳,携带命令消息
    5. 10分钟+30秒无心跳后,判定下线

  3. 白名单及黑名单机制(略)

huaxia2002
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
NameNode和DataNode之间的交互
Xlucas的博客
10-09 3027
简介 HDFS的设计核心是提高处理数据的吞吐量而不是低延迟，因此更适合数据的批处理，而非交互式处理，HDFS弱化了一些POSIX语义以获求吞吐量提升。HDFS对存储在其上的数据使用了一次写入多次读取的文件控制模型，一旦一个文件被写入并且存储到HDFS系统上，只可以追加写入该文件而不能修改，从而达到提高吞吐量的目标 NameNode可以执行以下HDFS功能 1、执行所有的HDFS操作，如打开/关闭文...
NameNode和DataNode之间的通信
weixin_47681855的博客
09-29 2092
NameNode(主节点) 接收DN的注册信息 并返回唯一的集群ID和统一的存储目录和UUID 接收DN汇报的磁盘空间和存储情况 分配存储任务给DN 接收DN的心跳机制和数据汇报 维护元数据信息的副本个数,给DN分配副本任务 管理和维护数据的存储信息(存储位置有:内存+磁盘 并且会复制子多份) 接收客户端发送的上传和下载的请求 并返回元数据的存储信息 给客户端提供虚拟的文件列表(shell命令) 从节点注册后发给DN的集群ID 注意: 若从节点个数有限,当主节点分配...
HDFS中的NameNode和DataNode的作用是什么？它们之间的通信方式是什么？
jakelihua
09-06 1915
在HDFS中，NameNode和DataNode之间通过RPC进行通信，以实现元数据的交换和数据的读写操作。具体来说，当NameNode需要与DataNode通信时，它会通过RPC调用DataNode的特定方法，如发送数据块、接收数据块等。同时，客户端还会将数据块的副本分发给其他DataNode，以实现数据的冗余存储。下面我将以一个面试者的身份，结合具体的案例和代码，来解释它们的作用以及它们之间的通信方式。具体的通信细节由底层的RPC框架处理，我们只需要关注方法的调用和数据的传输。
NameNode和DataNode通信机制
paul_wei2008的专栏
02-20 6580
备注： client和namenode之间是通过rpc通信； datanode和namenode之间是通过rpc通信； client和datanode之间是通过简单的socket通信。 写数据：Blk A,Blk B,Blk C分别需要写入1，5，6 DN上，namenode询问1是否准备好，1问5是否准备好，5问6是否准备好，1,5，6之间创建一个pipe
Hadoop3：HDFS中DataNode与NameNode的工作流程
最新发布
Brave_heart4pzj的博客
05-22 629
Hadoop
DataNode与Namenode的互动
weixin_33802505的博客
11-01 433
2019独角兽企业重金招聘Python工程师标准>>> ...
Hadoop理论及实践-HDFS的Namenode及Datanode（参考Hadoop官网）
Matrix70的博客
08-03 3523
本篇博客参照hadoop官网，介绍HDFS的NN及DN，副本存放机制（机架感知策略），安全模式，文件系统元数据持久化（editlog,fsimage）,HDFS健壮性，数据组织及存储空间的回收，重点介绍DataNode及NameNode及机架感知策略
namenode与datanode的通信原理
01-11 2683
分析DataNode时, 因为DataNode上保存的是数据块, 因此DataNode主要是对数据块进行操作 A. DataNode的主要工作流程: 客户端和DataNode的通信: 客户端向DataNode的数据块读写, 采用TCP/IP流接口(DataXceiver)进行数据传输 客户端在检测到DataNode异常, 主动发起的数据块恢复, 客户端会通过ClientDatanod
NameNode、SecondaryNameNode与DataNode工作机制
weixin_44496135的博客
08-02 368
NameNode与SecondaryNameNode工作机制
11HDFS的读写流程&NameNode、DataNode工作机制——好程序
01-20
1. 写入流程：客户端首先与NameNode通信，获取目标文件的Block信息。然后，NameNode指示客户端将Block写入DataNode，通常是按照副本策略选择DataNode。写入完成后，客户端通知NameNode，NameNode更新元数据。 2. ...
hadoop client与datanode的通信协议分析
09-05
本文主要关注Hadoop客户端在读写Block时的工作流程，以及客户端与DataNode通信的协议和数据流格式。 首先，当客户端需要写入Block时，它会通过Remote Procedure Call (RPC) 协议与NameNode交互，请求创建文件。接着...
大数据开发：HDFS数据节点与名称节点的通信机制.docx
12-13
"大数据开发：HDFS数据节点与名称节点的通信机制" 大数据开发中，HDFS（Hadoop Distributed File System）作为...Namenode和Datanode之间的通信机制保证了HDFS的高可用性和高写入性能，同时也兼顾数据写入的可靠性。
王家林的“云计算分布式大数据Hadoop第九讲Hadoop图文训练课程：剖析NameNode和Secondary NameNode的工作机制和流程.
06-19
当客户端进行文件操作时，都会与NameNode通信获取或更新这些信息。 2. **单点故障**：由于NameNode只有一个实例，这构成了Hadoop集群中的单点故障。如果NameNode崩溃，整个HDFS将无法正常工作，因为没有其他节点能...
快速学习-DataNode
01-20
心跳机制是DataNode与NameNode通信的基础，每3秒发送一次心跳，NameNode会根据心跳返回的指令执行操作，如复制或删除数据块。如果超过10分钟未收到某个DataNode的心跳，NameNode会认为该节点失效。 6.2 数据完整性 ...
客户端和NameNode、DataNode通信过程
ThreeAspects的博客
12-18 2836
client和NameNode之间是通过RPC通信 DataNode和NameNode之间是通过RPC通信 client和DataNode之间是通过简单的Socket通信 以HDFS读写文件为例：   NameNode主要负责管理文件系统的命名空间、集群配置信息和存储块的复制等。NameNode会将文件系统的Meta-data存储在内存中，这些信息主要包括了文件信息、每一个文件对应的文件块的信...
【云平台技术】作业五
qq_51941741的博客
06-29 991
当NameNode启动的时候，FsImage镜像文件就会被加载到内存中，然后对内存里的数据执行记录的操作，以确保内存所保留的数据处于最新的状态，这样就加快了元数据的读取和更新操作。（10）客户端向DataNode_01上传第一个Block数据块，当DataNode_01收到一个Packet就会传给DataNode_02，DataNode_02传给DataNode_03，DataNode_01每传送一个Packet都会放入一个应答队列等待应答。（4）客户端请求上传第一个Block数据块以及数据块副本的数量；
HDFS的心跳机制
tianfxin的博客
09-25 695
DataNode默认向NameNode每隔3秒汇报一次，主要汇报2点：一点是DataNode的状态信息，另一个是自身DataNode所持有的所有的数据块的信息。 按照规定，每个DataNode都需要向NameNode汇报，如果某一时刻开始，某个DataNode不汇报了，可能就是宕机了（只要通过玩过传输数据，就可能存在丢失或延迟）。HDFS规定：NameNode连续10次没有收到汇报，便认为可能存在宕机的可能。 DataNode启动好之后，会专门启动一个线程，去专门负责心跳数据包，如果整个Da...
Hadoop 中的 NameNode 和 DataNode 之间的心跳机制
mafish
10-14 2383
最近需要在 Hive 中实现 C/S 端的心跳，而心跳在 Hadoop 中被广泛使用，因此首先要清楚 Hadoop 中的心跳是如何实现的。在 Hadoop 中，NameNode 和 DataNode 之间、JobTracker 和 TaskTracker 之间都会有心跳信息，选取前者进行分析。 Hadoop 中通过心跳消息来确定 DataNodes 的有效性。对于超过时间未收到心跳消息的 Dat...
Hadoop DataNode小结
08-08 175
  在分析DataNode时, 因为DataNode上保存的是数据块, 因此DataNode主要是对数据块进行操作.  **A. DataNode的主要工作流程:**   1. 客户端和DataNode的通信: 客户端向DataNode的`数据块读写`, 采用TCP/IP流接口(DataXceiver)进行数据传输   2. 客户端在检测到DataNode异常, 主动发起的`数据块恢复...
namenode和datanode的区别
03-16
3. NameNode和DataNode之间通过心跳机制进行通信，以确保数据的一致性和可用性。NameNode会定期向DataNode发送心跳信号，以检查DataNode是否正常运行，并获取数据块的信息。 总之，NameNode和DataNode在Hadoop...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值