大数据||HDFS||NameNode启动过程详解

NameNode数据存放的地方有2个

1、内存
2、本地磁盘。镜像文件(fsimages)和日志文件(edits)

说明:格式化namenode目的是生成 fsimages文件。它是用来存放元数据的。


第一次启动过程如下:

0、format namenode
1、fsimages
2、start namenode

  • read  fsimages
    

3、start datanode

  •    向namenode注册
    
  •   向namenode报告(块信息)
    

4、create dir

  •    创建目录的过程中,会把操作过程记录到日志文件(edits)
    

5、put file

  •    上传文件过程中,会把操作过程记录到日志文件(edits)
    

6、delte file

  •    删除文件过程中,会把操作过程记录到日志文件(edits)
    

说明:所有的元数据操作改变都会写入到日志中。namenode中的元数据状态永远是最新的。namenode中的数据一份在内存,一份在磁盘

第二次启动过程如下:

1、启动namenode(只能读取磁盘文件),启动完成后最完整的元数据

  •  读取msimage镜像文件
    
  •   读取edit日志文件
    
  •    生成 gen  write msimages[new] 新的镜像文件
    
  •    生成一个新的 edit [null]为空的日志。
    

2、start datanode

  •    向namenode注册
    
  •   向namenode报告(块信息)
    

3、create dir

  •    创建目录的过程中,会把操作过程记录到日志文件(edits)
    

4、put file

  •    上传文件过程中,会把操作过程记录到日志文件(edits)
    

5、delte file

  •    删除文件过程中,会把操作过程记录到日志文件(edits)
    
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值