HDFS-DataNode启动流程

最新推荐文章于 2023-09-29 22:34:33 发布
最新推荐文章于 2023-09-29 22:34:33 发布
阅读量521 收藏
点赞数
分类专栏： Hadoop # HDFS 文章标签： hadoop hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/syun_tau/article/details/109410265
版权

HDFS DataNode启动流程

HDFS DataNode启动流程梳理

  1. 创建DataStorage对象
  2. 创建DataXceiverServer对象
  3. 启动HttpServer服务
  4. 启动RpcServer服务
  5. 创建blockPoolManager对象，遍历所有NameNode节点，一对HA服务（包含2个NN）对应一个BPOfferservice对象，其中包含2个BPServiceActor（每个对应一个NN）
  6. 获取NameNode对象代理，检查NameNode信息，之后调用NN远程服务，注册dataNode到各种数据结构中，同时注册信息到heartbeatManager中
  7. 向NameNode发送心跳信息，NameNode更新已存储的信息，并更新上一次的心跳时间
  8. NameNode中HeartbeatManager（内部Thread）定时遍历DataNode的心跳信息，如果发现有dead的DataNode，清除掉对应DataNode的信息

参考流程图
在这里插入图片描述

味极拉面
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HDFS源码-DataNode启动流程
尹忠政的博客
11-25 1558
HDFS源码-DataNode启动流程 文章目录HDFS源码-DataNode启动流程前言一、DataNode启动1、相关类2、重点代码二、DN注册流程1、BPServiceActor的创建三、总结 前言 DataNode是HDFS中主要扮演者数据存储管理的角色，主要辅助Block快的存储和读写，以及上报Block快信息至NameNode节点，同事对NameNode发出的指令做出响应，比如缓存、删除、迁移、复制等。还接收客户端的请求，提供Block的读写请求，同也与其他DataNode进行通信，比如写数据
2021-11-28 DataNode启动
cn987654的博客
11-28 2058
hadoop-3.3.0 dn启动源码
Hadoop的启动和停止命令
最新发布
m0_74579345的博客
09-29 3139
hadoop命令集
HDFS集群无法启动DataNode节点
xl132598798的博客
04-16 830
问题描述: ​ 执行./start-dfs.sh之后，使用jps查询进程时，发现dataNode并未启动；执行./stop-dfs.sh之后，发现：no datanode to stop 分析过程: ​ 当使用hdfs namenode -format格式化namenode时，会重新生成集群的相关信息，特别是clusterID，每次刷新都会产生一个新 的clusterID；但是该操作却不会影响Da...
Hadoop DataNode不能启动，不能全部启动
LakerPauGasol的博客
03-06 3102
可以查看一下{hadoop文件路径}/etc/hadoop/slaves这个文件，这个文件是集群里所有DataNode的主机名，如果缺少某一个主机名，不能全部启动，将全部要启动datanode的主机名加入即可。目前有三台主机，配置如下：在hadoop102主机上执行启动脚本（自定义脚本或者start-dfs.sh或者start-all.sh）,datanode节点不能正常启动。解决方案：删除hadoop配置文件core-site.xml中指定的缓存数据路径中的数据，然后进行格式化操作。
hadoop 源码解析-DataNode
06-06
DataNode 的启动过程由 `secureMain` 方法实现，该方法首先解析命令行参数，然后创建 DataNode 实例并启动它。在 `secureMain` 方法中，会检查是否提供了帮助信息，如果提供了则直接退出程序，否则继续执行 DataNode...
12_尚硅谷大数据之HDFS_DataNode1
08-03
1. DataNode启动时会向NameNode注册，提供自己的存储能力信息。 2. 注册成功后，DataNode每小时上报一次所有存储的Block信息，确保NameNode对整个系统的状态有实时了解。 3. 每隔3秒，DataNode发送一次心跳到...
【HDFS篇10】DataNode相关概念1
08-04
4. **动态扩展**: HDFS集群在运行过程中可以安全地添加或移除DataNode。新增节点时，只需要按照特定步骤配置并启动新节点；退役节点时，可以通过白名单或黑名单策略控制。 **数据完整性** DataNode在读取数据块时...
HDFS的概念-HDFS的高可用性.pdf
07-11
在活动NameNode和备用NameNode都失效的情况下，虽然这种情况非常罕见，管理员仍然可以声明一个新的备用NameNode并进行冷启动。高可用性实现还包括防止活动NameNode在故障转移期间执行可能损害系统的行为，确保系统...
hdfs源码.zip
07-14
1．3．4 Datanode启动、心跳以及执行名字节点指令流程 26 1．3．5 HA切换流程 27 第2章 Hadoop RPC 29 2．1 概述 29 2．1．1 RPC框架概述 29 2．1．2 Hadoop RPC框架概述 30 2．2 Hadoop RPC的使用 36 2．2．1 ...
Mobaxterm单独开启namenode/datanode节点，hadoop中namenode/datanode未启动Mobaxterm
weixin_62488301的博客
10-12 1133
jps中未开启datanode/namenode节点，hadoop单独开启namenode/datanode节点
HDFS之DataNode启动过程分析
meilong_whpu的专栏
10-27 3689
创建DataNode的入口DataNode.main(String[] args)，主要的处理逻辑在方法【DataNode.createDataNode(String[] args, Configuration conf, SecureResources resources)】中，分别初始化DataNode和启动DataNode线程两大步。 一.【DataNode.instantiateData
HDFS Namenode启动过程
weixin_33857679的博客
04-19 645
Namenode保存文件系统元数据镜像，namenode在内存及磁盘（fsimage和editslog）上分别存在一份元数据镜像文件，内存中元数据镜像保证了hdfs文件系统文件访问效率，磁盘上的元数据镜像保证了hdfs文件系统的安全性。 namenode在磁盘上的两类文件组成： fsimage文件：保存文件系统至上次checkpoint为止目录和文件元数据。 edits文件：保存文件系统从上...
HDFS源码解析之DataNode启动流程与心跳机制(四)
百看不如一RUN
07-05 488
DataNode 启动流程 1. 查看DataNode类的注释 1.1 DataNode类注释 /********************************************************** * DataNode is a class (and program) that stores a set of * blocks for a DFS deployment. A single deployment can * have one or many DataNodes.
DataNode启动流程
wang_ying_198的专栏
12-01 1145
DataNode启动可以分为两个部分,创建DataNode对象和启动DataNode节点。 从DataNode.main()说起： 1、main(args)àsecureMain(args,null)，在该函数内部： 调用StringUtils.startupShutdownMessage()方法打印启动或停止参数信息; 调用createDatanode(args…)创建DataNode对
hadoop2.7.0源码之DataNode启动流程
LINBE_blazers的博客
04-19 372
本文将结合hadoop2.7.0版本的源码与UML图对DataNode的初始化流程进行深入剖析，旨在更深入地理解DataNode初始化的整体逻辑 第一步：查看DataNode的入口方法main() public static void main(String args[]) { if (DFSUtil.parseHelpArgument(args, DataNode.USAGE, S...
hdfs源码深度解析(二) datanode启动流程
qq_24186017的博客
02-08 110
datanode启动流程
Hadoop：启动与停止命令
热门推荐
oraclestudyroad的博客
07-25 8万+
Hadoop认证培训：启动与停止命令，在安装配置了Hadoop的伪分布式环境后就可以启动Hadoop了，首先需要格式化HDFS分布式文件系统，进入Hadoop的bin目录，操作命令如下： hadoop namenode -format 正常格式化HDFS的显示截图，如图2-1所示。 然后就可以启动Hadoop，进入Hadoop的bin目录，操作命令如下：
DataNode启动流程介绍
07-14
1. 配置文件加载：DataNode启动时会读取Hadoop配置文件，其中包含了集群的相关配置信息，如NameNode的地址、数据存储路径等。 2. 初始化数据存储路径：DataNode会根据配置文件中指定的数据存储路径，在本地磁盘上...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值