DataNode工作机制

已于 2023-02-14 16:05:29 修改
阅读量846 收藏
点赞数 1
分类专栏： 大数据开发 文章标签： hadoop zookeeper hdfs
于 2022-03-05 20:10:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_47260194/article/details/123300192
版权

1.DataNode启动后会向NameNode注册。（将自己所保存的Block信息告诉NameNode）

2.NameNode接收到DataNode发送的信息，注册成功

3.在默认配置中，DataNode会周期性（6小时）上报所有块信息

4.DataNode会每三秒心跳一次，目的是告诉NameNode，它还活着

5.当NameNode超过十分钟+30秒没有收到DataNode的心跳，则认为该节点不可用，那么后续NameNode不会再向该节点进行读写操作

你可以自己看
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
namenode和datanode工作机制_namenode和datanode的工作机制
weixin_32950005的博客
12-29 924
namenode工作机制1、namenode职责(1)负责客户端请求的响应(2)元数据的管理(查询，修改)2、元数据管理namenode对数据的管理采用了三种存储形式：内存元数据(NameSystem)磁盘元数据镜像文件数据操作日志文件(可通过日志运算出元数据)2.1元数据存储机制内存中有一份完整的元数据(内存meta data)磁盘有一个“准完整”的元数据镜像(fsimage)文件(在namen...
DataNode 工作机制
weixin_44762841的博客
12-03 99
2018年DN大数据从初级到高级全套教程 2018年DN云计算从初级到高级全套教程 2018年DN web从初级到高级全套教程 源码 1 DataNode 工作机制 1 一个数据块在 datanode 上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。 2 DataNode 启动后向 namenode 注册， 通过后，周期性（1 ...
Datanode工作机制
qq_42826453的博客
01-22 394
Datanode工作机制 1）一个数据块在 datanode 上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。 2）DataNode 启动后向 namenode 注册，通过后，周期性（1 小时）的向 namenode 上报所有的块信息。 3）心跳是每 3 秒一次，心跳返回结果带有 namenode 给该 datanode 的命令如...
HDFS的 DataNode 工作机制
youhaitao_do的博客
04-22 313
1DataNode 工作机制 1）一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。 2）DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有的块信息。 3）心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个DataNode的心跳，则认为该节点不可用。 4）集群.
一、DataNode工作机制
weixin_43553142的博客
12-04 277
浅谈Hadoop中DataNode的工作机制。
namenode和datanode工作机制_Hadoop框架：NameNode与DataNode工作机制详解
weixin_39592137的博客
12-19 484
一、NameNode组件1、基础描述NameNode运行时元数据需要存放在内存中，同时在磁盘中备份元数据的fsImage，当元数据有更新或者添加元数据时，修改内存中的元数据会把操作记录追加到edits日志文件中，这里不包括查询操作。如果NameNode节点发生故障，可以通过FsImage和Edits的合并，重新把元数据加载到内存中，此时SecondaryNameNode专门用于fsImage和ed...
namenode和datanode工作机制_Namenode、DataNode工作机制
weixin_39983384的博客
12-19 138
前言：我们上一节看到了如何搭建和验证我们hadoop平台，在验证时我们使用jps命令查看进程，如下：DataNode、NameNode、SecondaryNameNode那么这些进程都具有哪些功能，这些功能是怎么服务于hadoop平台的，进程之间是怎么进行合作的，这些问题就是我们这一节要解决的问题。(yarn暂时不考虑)概括来讲，以银行打一个比方，namenode是一个前台记账客服，seconda...
11HDFS的读写流程&NameNode、DataNode工作机制——好程序
01-20
【HDFS概述】 Hadoop Distributed File System（HDFS）是一种基于分布式计算的文件系统，它遵循“分而治之”的原则，将大文件和大量...理解和掌握HDFS的工作原理和操作方式对于使用Hadoop平台进行大数据处理至关重要。
hadoop client与datanode的通信协议分析
09-05
本文主要关注Hadoop客户端在读写Block时的工作流程，以及客户端与DataNode通信的协议和数据流格式。 首先，当客户端需要写入Block时，它会通过Remote Procedure Call (RPC) 协议与NameNode交互，请求创建文件。接着...
快速学习-DataNode
01-20
【快速学习-DataNode】章节主要讲解了Hadoop分布式文件系统(HDFS)中DataNode的角色、工作机制、数据完整性保障以及如何动态地添加和退役DataNode节点。DataNode是HDFS的基石，负责存储实际的数据块，并与NameNode...
hadoop 源码解析-DataNode
06-06
本文将对 DataNode 的源码进行解析，了解其启动、配置和数据管理机制。 DataNode 启动机制 DataNode 的启动过程由 `secureMain` 方法实现，该方法首先解析命令行参数，然后创建 DataNode 实例并启动它。在 `...
12_尚硅谷大数据之HDFS_DataNode1
08-03
本文将深入探讨HDFS中的DataNode及其相关知识点，包括DataNode的工作机制、数据完整性、掉线时限参数设置以及如何服役新数据节点。 6.1 DataNode工作机制 DataNode是HDFS的基石，负责实际的数据存储。每个DataNode...
Hadoop、Hive、HBase、数据集成、Scala阶段测试
m0_58050808的博客
07-24 1196
ResourceManager 是 YARN 架构中的核心组件之一，负责接收客户端提交的作业（如 MapReduce 任务、Spark 任务等），并为这些作业分配资源（如内存、CPU）以在集群中的 NodeManager 上执行。spark的任务调度流程：driver端，遇到action算子触发任务执行，将任务提交到有向无环图，DAGscheduler中，根据RDD的血缘关系划分划分stage，将RDD中的分区封装成taskset任务，发送到TASKscheduler。
大数据处理：大数据处理框架Hadoop、Spark
Chujun123528的博客
07-24 932
大数据处理是当代信息技术领域的一个重要分支，它涉及到海量数据的存储、管理和分析。为了高效地应对大数据处理的挑战，多种框架被开发出来，其中Hadoop和Spark是最为知名和广泛应用的两种。以下将详细介绍这两种框架以及它们在大数据处理中的应用和优势。
Zookeeper源码剖析-启动类
program哲学
07-25 378
本文详细剖析Zookeeper启动类相关源码
Linux系统上安装zookeeper
最新发布
HLJ洛神千羽
07-25 450
百度网盘 通过网盘分享的文件：zookeeper_linux 链接: https://pan.baidu.com/s/1_hybXZVwTRkotz0VbwbSMw?pwd=8888 提取码: 8888 1.将压缩包拖进虚拟机 2.解压压缩包 cd /ruanjian/zookeeper/ tar -zxvf apache-ZooKeeper-3.7.2-bin.tar.gz 3.进入到conf目录 cd /ruanjian/zookeeper/apache-zookeeper
第13周 简历职位功能开发与Zookeeper实战
与海
07-24 506
参考案例group by分组后会返回每组一条数据over窗口函数配合聚合函数使用,在分组的基础上,返回所有行数据并将聚合函数结果作为新列返回。
C# WPF入门学习主线篇（七）—— Label常见属性和事件
weixin_56595425的博客
06-07 1842
在《C# WPF入门学习主线篇（七）—— Label常见属性和事件》一文中，我们详细探讨了 WPF 中 `Label` 控件的常见属性和事件，包括 `Content`、`FontSize`、`Foreground`、`Background` 等属性，以及 `MouseEnter`、`MouseLeave`、`MouseDown` 和 `KeyDown` 等事件。通过丰富的示例代码，本文帮助读者掌握如何自定义 `
datanode分块机制
03-28
Datanode分块机制是指在Hadoop分布式文件系统中，为了支持大文件的存储和处理，将大文件划分为多个块（Block），每个块的大小通常为64MB或128MB，并将这些块分散存储在不同的Datanode上。 具体来说，当客户端上传一个大文件时，Namenode会根据预设的块大小将文件划分为多个块，并为每个块分配一个唯一的Block ID。然后，Namenode会将每个块的Block ID和副本信息（如副本数、存储位置等）存储在元数据（Metadata）中。 接下来，客户端会通过数据流的方式将每个块上传到对应的Datanode上，并告知Datanode所上传的块的Block ID和副本信息。Datanode会确认该块是否已经存在于本地，如果不存在，则会将该块存储在本地，并根据副本数的设置将该块复制到其他的Datanode上。如果该块已经存在于本地，则Datanode会返回成功的响应。 当客户端需要读取某个块时，它会向Namenode请求该块的副本信息。Namenode会查询元数据，返回该块所有副本的位置信息。客户端会选择距离最近的Datanode读取该块，如果该Datanode发生故障，则会选择距离次近的Datanode读取该块，以此类推，直到成功读取该块为止。 总的来说，Datanode分块机制是Hadoop分布式文件系统的核心机制之一，它通过将大文件划分为多个块，并将这些块分散存储在不同的Datanode上，实现了高效的数据存储和处理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值