hdfs启动流程

Namenode
1.init()
namenode初始化,执行加载配置文件等操作
2.loadFsImage()
开始加载元数据将FsImage护额徐为目录树,保存在内存中FsImage中主要包含了问价你和数据块的对应关系
3.loadEditlog()
加载Editlog,将Editlog中记录的元数据修改应用到内存中;
4.saveCheckpoint()
将内存中最新的目录树持久化为新的FsImage到磁盘,以加快下次启动速度
5.startRpcServer()
启动RPC服务,开始接受外部请求;
6.startTrashEmptier()
如果启用了回收站机制,初始化垃圾清理线程,定期删除回收站中的数据;
Datanode
7.init()
Datanode初始化,执行加载配置文件等操作。namenode与datanode同时启动,与1-6无先后关系
Namenode
8.register()
datanode发起PRC请求,将自身注册到集群;注册消息主要包含hostnam和blockPool标识(namenode格式化时生效,类似UUID,全局唯一),用于判断改datanode是否允许接入该集群。
Datanode
9.scanBlock()
datanode按照配置的数据存储路径,并行扫描本地数据磁盘,加载数据块信息到内存中(主要是块id,块文件物理路径等元数据信息,不包含数据块内容本身)
Namenode
10.safeMode()
namenode在完成自身的一些列初始化流程后进入安全模式,等待datanode上报数据块信息。此时,系统是只读的。
11.blockReport()
datanode在完成数据磁盘扫描后生成块报告,上报给namenode,每个块使用三个long值描述,即块id,块长度,版本时间戳GS,共24字节(通过网络发送时,使用变长编码,因此通常远小于24字节)
Datanode
12.startDataXceiverServer()
datanode启动字节传输服务,开始接受数据块的读写请求
13.startRpcServer()
datanode启动RPC服务,该服务主要用于集群内部通信,传输管理命令
Namenode
14.wait()
namenode在收到足够数量的blockReport之后(默认为99.9%的块达到了,最小副本为1,等待额外的30秒,推出安全模式,此时namenode完成数据块个datanode的映射关系,允许接受读写请求。

namenode与datanode均采用多线程架构,没有严格的顺序,多个线程并行在后台运行。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

weixin_44352020

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值