hdfs初始化的作用&&secondarynamenode 和 namenode的关系

HDFS初始化涉及生成namenode的文件目录结构,确定namespace、cluster和blockpool ID。fsimage保存内存元数据信息,不包含节点映射,而edits记录操作。secondarynamenode协助更新fsimage,通过特定流程完成checkpoint。安全模式在块与节点映射完成99.999%后退出。
摘要由CSDN通过智能技术生成

1 初始化操作

bin/hdfs namenode -format

初始化作用:

1.会生成namenode的文件目录结构
in_use.lock是在使用的时候生成和
edits相关的也是在使用之后生成
2. 确定了三个id namespace cluster blockpool
namespaceID:是系统文件的唯一标识符,格式化文件系统之后会生成
clusterID :生成的集群的ID
blockpoolID:针对每一个namespace对应的blockpool的ID 包含储存节点IP等信息
3. 生成了fsimage_00000

只启动namenode
1. 会生成锁文件 in_use.lock
2. 会生成edits相关的文件,并且seen_txid会改变成和edits_inprogress文件后面的编号id一样

启动datanano
1. 会生成datanode文件目录
current文件和锁文件是一起生成的
2.会生成块池id对应的文件夹和VERSION文件
为什么会自动配对?
slaves文件规定hadoop集群的所有从节点的主机,默认值是localhost,所以伪分布式可以配对成功
hadoop的从节点类型不止一种
hdfs的从节点 datanode
yarn的从节点 nodemanager
为什么要这样设计?
3.三个配对id的位置
1.namespace BP…下面的current文件夹下的VERSION文件里面
2.blockpool BP…下面的current文件夹

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值