NameNode启动流程

最新推荐文章于 2022-10-03 21:01:19 发布
最新推荐文章于 2022-10-03 21:01:19 发布
阅读量989 收藏
点赞数 2
分类专栏： HDFS 文章标签： hdfs hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_22042675/article/details/111864966
版权
本文深入剖析NameNode的启动流程，包括启动HTTP服务器、加载元数据、创建RPC服务器及启动公共服务。NameNode首先启动HTTP服务器提供Web界面，接着加载fsimage和editlog形成内存元数据。然后启动RPC服务器以便DataNode与其通信。最后，开始公共服务，检查存储空间，启动心跳管理、副本复制等线程，并依据设定进入安全模式。
摘要由CSDN通过智能技术生成

在这里插入图片描述
 场景驱动，NameNode的启动流程，通过观看源码（hadoop2.7）直接去找NameNode的main方法，进入到initialize(conf)初始化的方法，在这里NameNode主要进行了四个方面的操作。
 1、startHttpServer(conf)调用这个方法启动了一个httpserver，并且Hadoop的httpserver是自己封装实现的类似Hadoop的rpc。这一步主要是启动这个httpserver绑定一些servet并通过50070端口对外提供服务。就是hdfs的web页面所展示的内容是通过这里的servlet获取数据的。
 2、loadNamesystem(conf)调用此方法加载自己的元数据进内存。简单的理解就是将磁盘上的最新的fsimage和id必fsiamge大的editlog加载进内存进行合并后成为当前NameNode的内存中的元数据。实际上还涉及一些HA的检查，journalNode元数据同步等的一些操作。
 3、createRpcServer(conf)启动rpcserver，NameNode和DataNode之间通过rpc进行通信，这个方法在NameNode启动rpc服务端，通过jps看到的NameNode服务只是NameNodeRpcServer的一个代理对象。启动之后客户端和DataNode可以远程调用NameNode的rpc服务端的方法。Hadoop的rpc也是自己封装实现的
 4、startCommonServices(conf)这个方法比较重要，第一步会创建NameNodeResourceChecker对象用于检查NameNode的储存元数据的目录是否有足够的空间，第二个会启动一些线程和服务，pendingReplicatio

最低0.47元/天 解锁文章
LT若要好
关注
专栏目录
教你一步一步分析Hadoop NameNode启动流程
shalistone的博客
05-06 651
NameNode服务端的启动过程 不知道大家是否自己搭建过Hadoop集群，如果搭建过是否还记得Hadoop NameNode的启动命令呢？下面是Linux服务器上启动NameNode的命令。 [root@hadoop01 sbin]# hadoop-daemon.sh start namenode 既然是通过hadoop-daemon.s进行启动，那么我们可以看看这个shell脚本是怎么启...
hadoop 2.7.3 源码分析（四）：namenode启动流程
iblks
11-27 3236
摘要通过前边的文章我们已经知道，hadoop namenode启动的类org.apache.hadoop.hdfs.server.namenode.NameNode,本节内容就顺着其启动流程，查看在namenode启动的过程中其都做了哪些工作。启动我们通过命令$start-dfs.sh启动hadoop集群的namenode和datanode,在namenode启动的过程中JVM首先加载org.apa
NameNode启动过程详细剖析
hummingbird0的博客
06-24 868
NameNode启动过程详细剖析 NameNode中几个关键的数据结构 1. FSImage Namenode会将HDFS的文件和目录元数据存储在一个叫fsimage的二进制文件中，每次保存fsimage之后到下次保存之间的所有hdfs操作，将会记录在editlog文件中，当editlog达到一定的大小（bytes，由fs.checkpoint.size参数定义）或从上次保存过后一定时间段过后（sec，由fs.checkpoint.period参数定义），namenode会重新将内存中对整个HDFS的目录树
Hadoop namenode启动瓶颈分析
weixin_30484739的博客
04-26 342
转载：http://blog.csdn.net/AE86_FC/archive/2010/08/26/5842020.aspx NameNode启动过程详细剖析 NameNode中几个关键的数据结构 FSImage Namenode会将HDFS的文件和目录元数据存储在一个叫fsimage的二进制文件中，每次保存fsimage之后到下次保存之间的所有hdfs操作，将会记录在editlog文件...
NameNode启动过程
he_321的博客
11-04 1653
NameNode启动过程NameNode数据存储在内存和本地磁盘，本地磁盘数据存储在fsimage镜像文件和edits编辑日志文件 第一次启动 1、格式化文件系统，为了生成fsimage镜像文件 2、启动NameNode （1）读取fsimage文件，将文件内容加载进内存 （2）等待DataNade注册与发送Block Report 3、启动DataNod
namenode的启动
weixin_43810802的博客
10-14 4188
我们简单看下namenode启动需要经历的步骤。 namenode启动要做什么启动9870服务端口加载镜像文件和编辑日志文件初始化RPC服务启动资源检查检查心跳检查是否进入安全模式 启动9870服务端口 因为namenode是一个进程，所以找到它的main方法： 进入createNameNode： 找到new NodeNode(conf)，进去。 找到初始化方法，进入： 他要获取绑定的地址，我们希望知道这个地址是什么。 看看这个默认的地址： 端口号是9870。这就是我们经常用的namenode的
解码Hadoop系列——NameNode启动流程
manshiai的博客
08-11 4116
namenode的主要责任是文件元信息与数据块映射的管理。相应的，namenode的启动流程需要关注与客户端、datanode通信的工作线程，文件元信息的管理机制，数据块的管理机制等。其中，RpcServer主要负责与客户端、datanode通信，FSDirectory主要负责管理文件元信息。...
NameNode启动流程（HADOOP）
Nicky_1218的博客
04-29 613
整理资料吧，温故而知新。 MAIN: NameNode启动流程 NameNode启动流程 NameNode元数据/命名空间 持久化fsimage与edits。 NameNode格式化，会做两件事。一，创建fsimage文件，用来存储fsimage信息。二，创建edits文件。 NameNode的启动流程： 加载fsimage和edits文件。 生成新的fsima...
Hadoop源码篇 --- NameNode的启动流程解析
说出你的愿望吧
01-06 1015
前言 提醒一下，这里面需要有RPC的基础，如果对RPC没有了解的朋友，可以先跳转到以往写的两篇RPC文章中。 理论方面：从零开始的高并发（七）— RPC的介绍，协议及框架 （可略过）代码方面：从零开始的高并发（八）— RPC框架的简单实现 当然也不需要太过深入，知道点皮毛即可。因为Hadoop中有一个Hadoop RPC需要有点基础知识。 暂时先记得下面的满足RPC的条件（非完整）： 1.不同进程...
集群安全模式=＞namenode启动过程=＞Secondary namenode的作用
Brucexyao的博客
09-25 296
一、集群启动   首先要记住，集群启动的时候必定是处于安全模式中的。 NameNode启动   NameNode启动时，首先将镜像文件（Fsimage）载入内存，并执行编辑日志（Edits）中的各项操作。一旦在内存中成功建立文件系统元数据的映像，则创建一个新的Fsimage文件和一个空的编辑日志。此时，NameNode开始监听DataNode请求。这个过程期间，NameNode一直运行在安全模式，即NameNode的文件系统对于客户端来说是只读的。 DataNode启动   系统中的数据块的位置并不是由Na
Hadoop namenode启动过程详细剖析及瓶颈分析
大数据框架Hadoop学习
05-16 280
NameNode中几个关键的数据结构 FSImage Namenode会将HDFS的文件和目录元数据存储在一个叫fsimage的二进制文件中，每次保存fsimage之后到下次保存之间的所有hdfs操作，将会记录在editlog文件中，当editlog达到一定的大小（bytes，由fs.checkpoint.size参数定义）或从上次保存过后一定时间段过后（sec，由fs.checkpoint....
NameNode启动
David宫洪深的博客
02-26 806
NameNode 是存储整个文件系统的源数据 (文件块目录)    数据存储在 ->缓存                      ->本地磁盘                                ->fsimage(镜像文件:HDFS文件系统存于硬盘中的元数据检查点，里面记录了自最后一次检查点之前HDFS文件系统中所有目录和文件的序列化信息)             ...
Hadoop Namenode以regular方式启动代码流程分析
02-18 491
Hadoop Namenode以regular方式启动代码流程分析 http://www.csdn.net/article/2014-02-11/2818374-Hadoop-Namenode-regularhadoopnamenode 摘要：在Namenode启动时会首先去构造Configuration对象，这个对象会贯穿代码的整个执行过程，不过在构造的时候它并没有去加载解析co
namenode的启动过程
大数据
01-23 807
(1)加载镜像文件，还原了checkpoint时间节点前的元数据（包含目录结构，文件大小，块的大小，块的id等等信息），不包含块的存储位置 (2)加载edits文件，还原了checkpoint时间节点到集群停止的元数据，不包含块的存储位置。（至此namenode还原的元数据唯一缺失的就是块的存储位置） (3)blockreport阶段，datanode启动，向namendoe汇报自己所管理的块及块...
HDFS源码分析——NameNode启动流程
机械工程跑路哥
10-03 1836
NameNode启动时，主要的几个步骤分别是： 1. `startHttpServer` 启动9870端口服务； 2. `loadNamesystem` 从磁盘加载镜像文件fsimage和edits编辑日志； 3. `createRpcServer` 创建RPC服务端 4. `checkAvailableResources` 检查磁盘空间是否充足 5. `blockManager.activate` 心跳超时判断 6. `bmSafeMode.avtive` 安全模式
Hadoop 学习研究: NameNode启动过程
METON的博客
06-17 593
NameNode启动过程: fsimage加载过程 Fsimage加载过程完成的操作主要是为了： 1. 从fsimage中读取该HDFS中保存的每一个目录和每一个文件 2. 初始化每个目录和文件的元数据信息 3. 根据目录和文件的路径，构造出整个namespace在内存中的镜像 4. 如
HDFS之NameNode的启动过程分析
meilong_whpu的专栏
10-26 1920
创建NameNode的入口为NameNode.main(String[] argv)，主要的创建工作在方法NameNode.createNameNode(String[] argv, Configuration conf)中，分析如下： 一.【parseArguments(argv)】：解析启动NameNode命令传来的参数，启动参数有：“-format，-regular，-upgrade，-r
NameNode启动的过程
最新发布
05-29
NameNode 启动过程大致如下： 1. 读取 Hadoop 配置文件：NameNode 会读取 Hadoop 配置文件（如 core-site.xml、hdfs-site.xml）来获取各种参数的配置信息。这些参数包括 Hadoop 集群的名称、文件系统的存储目录、NameNode 的 RPC 端口等。 2. 初始化文件系统元数据：NameNode 会在启动时加载文件系统元数据，包括文件、目录、权限等信息，并将它们存储在内存中。 3. 启动 RPC 服务：NameNode 会启动 RPC 服务，以便客户端和其他 Hadoop 组件（如 DataNode、Secondary NameNode）可以与之通信。RPC 服务通常会监听一个或多个端口，用于接收来自客户端和其他组件的请求，并返回相应的响应。 4. 启动后台线程：NameNode 会启动许多后台线程，用于执行各种任务，例如心跳检测、数据块复制、数据块恢复、元数据持久化等。 5. 等待客户端请求：当 NameNode 启动并准备好接收请求后，它会等待来自客户端的请求。客户端可以通过 HDFS 客户端 API 或 Web 界面与 NameNode 进行通信。 需要注意的是，在启动 NameNode 之前，需要确保 Hadoop 集群中的其他组件（如 DataNode、Secondary NameNode）已经启动并正常运行。只有当整个 Hadoop 集群都处于正常运行状态时，NameNode 才能正常工作。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值