HDFS的启动过程

最新推荐文章于 2024-09-25 21:25:24 发布
最新推荐文章于 2024-09-25 21:25:24 发布
阅读量2.8k 收藏 4
点赞数 1
分类专栏： HDFS 文章标签： HDFS
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fanyun2009/article/details/85759492
版权
本文详细介绍了HDFS的启动过程，包括四个阶段：加载fsimage、edits日志、生成检查点和进入安全模式。同时，阐述了HDFS的安全模式，这是一种确保数据块完整性的保护机制，只有在安全模式关闭时，HDFS才允许读写操作。安全模式会检查数据块的副本率，确保其达到预设的最小副本率要求。
摘要由CSDN通过智能技术生成

HDFS的启动过程

HDFS的启动过程分为四个阶段：
第一阶段：NameNode 读取包含元数据信息的fsimage文件，并加载到内存；
第二阶段：NameNode读取体现HDFS最新状态的edits日志文件，并加载到内存中
第三阶段：生成检查点，SecondaryNameNode将edits日志中的信息合并到fsimage文件中
第四阶段：进入安全模式，检查数据块的完整性

HDFS的启动过程

HDFS的安全模式

  • 什么是安全模式
    安全模式是HDFS的一种保护机制，用于保证数据块的完整性。当HDFS处于安全模式下，HDFS是只读状态，命令无法使用；只有安全模式处于OFF状态时，命令才能使用。
  • 安全模式的检查过程
    当HDFS处于安全模式下时会检查数据块的完整性。假设我们设置的副本数为3（即配置hdfs-site.xml文件，如下）那么在datanod上有3个副本。
    如果系统只存在2个副本，那么副本率为2/3=0.666，在hdfs-default.xml中定义了一个最小副本率0.999f。我们的副本率0.666明显小于0.999f, 因此系统会复制副本到其他的datanode，使得副本率不小于0.999f；
    如果系统中的副本为4，超过了我们设定的2，系统就会删除多余的2个副本
最低0.47元/天 解锁文章
ffbc2020
关注
专栏目录
HDFS集群启动过程详解
Amber_amber的专栏
07-29 5678
HDFS的启动过程和关闭过程都经过脚本进行了封装，只需要执行start-all.sh和stop-all.sh就可以。操作较简单。下面针对启动阶段的原理和详细过程进行说明，对关闭过程目前还没有调研，所以暂缺。 HDFS的启动分三步骤： l  第一步，启动namenode；l  第二步，启动datanode；l  第三步，启动Secondary namenode。 下面一一描述。
Hdfs启动过程及文件读写流程（精简专业版本）
生存，生活，差之毫厘谬以千里也
05-28 845
一.Hdfs启动过程： HDFS的启动过程分为四个阶段： 第一阶段：NameNode 读取包含元数据信息的fsimage文件，并加载到内存； 第二阶段：NameNode读取体现HDFS最新状态的edits日志文件，并加载到内存中 第三阶段：生成检查点，SecondaryNameNode将edits日志中的信息合并到fsimage文件中 第四阶段：进入安全模式，检查数据块的完整性 ...
hdfs启动流程
weixin_44352020的博客
05-05 606
Namenode 1.init() namenode初始化，执行加载配置文件等操作 2.loadFsImage() 开始加载元数据将FsImage护额徐为目录树，保存在内存中FsImage中主要包含了问价你和数据块的对应关系 3.loadEditlog() 加载Editlog，将Editlog中记录的元数据修改应用到内存中； 4.saveCheckpoint() 将内存中最新的目录树持久化为新的F...
【大数据】| 04-虚拟机HDFS的Shell操作
最新发布
2301_77798916的博客
09-25 332
Hadoop HDFS 组件内置了 HDFS 集群的一键启停脚本。
HDFS Namenode启动过程
weixin_33857679的博客
04-19 667
Namenode保存文件系统元数据镜像，namenode在内存及磁盘（fsimage和editslog）上分别存在一份元数据镜像文件，内存中元数据镜像保证了hdfs文件系统文件访问效率，磁盘上的元数据镜像保证了hdfs文件系统的安全性。 namenode在磁盘上的两类文件组成： fsimage文件：保存文件系统至上次checkpoint为止目录和文件元数据。 edits文件：保存文件系统从上...
hdfs开机启动流程
鸭梨的博客
12-15 613
第一步： 加载name目录下最新的那个fsimage_xxx019文件，将里面存储的元数据（目录树结构）维护到内存中，但是还不是关机前的状态 第二步： 将关机前的最后使用的edits_inprogress_xxxx0160进行重命名 edits_0000000000000000160-0000000000000000169操作，然后生成一个最新的edits_inprogress_xxx170文件，并修改seen_txid里的值为170. 将从xxx020~xxx169的这个范围内的所有的edit日志文件加载
HDFS启动过程+安全模式
now
11-10 364
可以通过StartUp Progress查看HDFS的启动过程： 1加载文件的元信息fsimage 2加载操作日志文件edits 3操作检查点 4自动进入安全模式，检查数据块的副本率是否满足要求。当满足要求后，退出安全模式【安全模式safemode是HDFS所处的一种特殊状态。处于这种状态时，HDFS只接受读数据请求，不能对文件进行写、删除等操作。在NameNode主节点启动时，HDFS首先进入安全模式，DataNode回向NameNode上传它们数据块列表，让NameNode得到数据块的位置信息，
HDFS启动过程了解
小冷在努力~
09-10 370
Namenode目录:元数据(name,permission,block,replication)，没有dn的位置 当系统启动并加载fsimage完成之后(这个时候元数据都加载到内存中)，dn向namenode报告自己的块列表，这个时候形成数据块->datanode列表的映射，数据块到datanode列表的映射关系在namenode内存中维护。在实际的应用中，数据块到datanode的对应关系经
【若泽大数据实战第十一天】HDFS启动过程详解
强悍de巨人
05-21 385
前言：整理HDFS整个启动的详细过程Namenode保存文件系统元数据镜像，namenode在内存及磁盘（fsimage和editslog）上分别存在一份元数据镜像文件，内存中元数据镜像保证了hdfs文件系统文件访问效率，磁盘上的元数据镜像保证了hdfs文件系统的安全性。namenode在磁盘上的两类文件组成：fsimage文件：保存文件系统至上次checkpoint为止目录和文件元数据。edit...
Hadoop：详解HDFS启动过程及相关节点工作机制（检查点机制、安全模式）
Jodness' Blogs
04-03 3072
Namenode是集群主从结构模型中的唯一的一个管理者，它负责 管理HDFS文件系统的命名空间（namespace)：文件系统树及整棵树内的所有文件和目录的元数据，而这些信息以两种文件形式持久化地保存在本地磁盘中； 管理数据块位置信息：命名空间镜像文件(fsimage) 管理着客户端的读写操作：编辑日志文件(editlog) 同时namenode维护了块到datanode的映射，即每个...
HDFS 启动顺序
geekLinyi‘s Blog
09-29 1067
HDFS 启动顺序 Loading fsimage：加载镜像文件 首次开启集群时，加载镜像文件：{hadoop.tmp.dir}/dfs/name/fsimage_0000000000000000000 再次开启集群时，Loading fsimage /home/hadoop/tmp/dfs/name/current/fsimage_0000000000000000002 Loading ...
一篇文章搞懂 HDFS 的启动流程
热门推荐
Shockang的博客
06-03 1万+
前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系 正文 当 NameNode 启动时，从本地文件系统中读取 edits 和 FSImage 文件，将所有 edits 中的事务作用在内存中的 FSImage 上，并将这个新版本的 FSImage 从内存中写入到本地文件上，然后删除旧的 edits (这个过程称为检査点)，最后等待各个 DataNode 向 Na
HDFS的启动流程和HA
qq_42456324的博客
09-10 1270
通过阅读专栏之前的内容我们知道 HDFS 集群的元数据信息是存放在 NameNode 的内存中的，当集群扩大到一定的规模以后， NameNode 内存中存放的元数据信息可能会非常大，由于 HDFS 的所有的操作都会和 NameNode 进行交互， 当集群很大时， NameNode 会成为集群的瓶颈。Active NameNode 负责所有的客户端操作，而 Standby NameNode 只是简单的充当 Slave，它负责维护状态信息以便在需要时能快速切换。
HDFS启动过程
火羽的博客
01-12 2637
借鉴地址http://www.linuxidc.com/Linux/2012-01/51614.htm http://blog.csdn.net/xh16319/article/details/31375197要了解hdfs的启动，首先要了解几个概念： namenode，Secondarynamenode,datanode namenode 是一个中心服务器，他控制客户端对文件的访问，是一个集
【HDFS】架构 二 ：HDFS的启动流程、安全模式、服务器的分类、副本放置策略、读写流程
flowglow的博客
03-09 994
本文提供了Hadoop分布式文件系统（HDFS）的详细架构分析，包括启动流程、安全模式、服务器分类、副本放置策略、写流程和读流程。 文章强调了HDFS在设计上对数据一致性和可靠性的重视，以及其在分布式计算环境中的高效读写能力。
HDFS源码分析——DataNode启动流程
机械工程跑路哥
10-08 2623
NameNode启动时，主要的几个步骤分别是： 1. `initDataXceiver` 初始化服务线程，用于接收Client和其他DataNode发来的数据 2. `startInfoServer` 初始化HTTP服务 3. `initIpcServer` 初始化RPC服务端 4. refreshNameNodes→doRefreshNamenodes →`createBPOS` 创建BPOS服务 ； →startAll→`connectToNNAndHadnshake`→`registerDatanod
HDFS之DataNode启动过程分析
meilong_whpu的专栏
10-27 3760
创建DataNode的入口DataNode.main(String[] args)，主要的处理逻辑在方法【DataNode.createDataNode(String[] args, Configuration conf, SecureResources resources)】中，分别初始化DataNode和启动DataNode线程两大步。 一.【DataNode.instantiateData
HDFS源码分析——NameNode启动流程
机械工程跑路哥
10-03 1834
NameNode启动时，主要的几个步骤分别是： 1. `startHttpServer` 启动9870端口服务； 2. `loadNamesystem` 从磁盘加载镜像文件fsimage和edits编辑日志； 3. `createRpcServer` 创建RPC服务端 4. `checkAvailableResources` 检查磁盘空间是否充足 5. `blockManager.activate` 心跳超时判断 6. `bmSafeMode.avtive` 安全模式
HDFS中名称节点启动过程
09-10
名称节点启动过程主要包括以下几个步骤： 1. 配置加载：名称节点启动时首先会加载Hadoop配置文件中的相关设置，比如`hdfs-site.xml`中定义的文件系统元数据存储位置、副本数等参数。 2. 磁盘检查：在启动过程中，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值