NameNode&Secondary NameNode的工作机制

NameNode&Secondary NameNode的工作机制

在这里插入图片描述

工作流程

(1)第一阶段:NameNode启动

  1. 第一次启动namenode格式化 后,创建fsimage和edits文件。如果不是第一次启动 ,直接加载编辑日志(edits)和镜像文件(fsimage)到内存。
  2. 客户端对元数据进行增删改查的请求。
  3. NameNode记录操作日志,更新滚动日志。
  4. NameNode在内存中对数据进行增删改查.

(1)第二阶段:Secondary NameNode工作

  1. Secondary NameNode询问NameNode是否需要checkpoint。直接带回NameNode是否检查结果。checkpoint可以理解为一个检查时刻。
  2. Secondary NameNode请求执行checkpoint。
  3. NameNode滚动正在写的edits日志。
  4. 将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode。
  5. Secondary NameNode加载编辑日志和镜像文件到内存,并合并。
  6. 生成新的镜像文件fsimage.chkpoint。
  7. 拷贝fsimage.chkpoint到namenode。
  8. NameNode将fsimage.chkpoint重新命名成fsimage。

(3)checkpoint检查时间参数设置

通常情况下,SecondaryNameNode每隔一小时执行一次。
可以查看相关配置文件。

hdfs-default.xml
<property>
	<name>dfs.namenode.checkpoint.period</name>
	<value>3600</value>
</property>

除此之外,SecondaryNameNode每分钟都会检查一次操作次数,当操作次数达到1百万时,SecondaryNameNode执行一次。

<property>
	<name>dfs.namenode.checkpoint.txns</name>
	<value>1000000</value>
	<description>操作动作次数</description>
	</property>
	
<property>
	<name>dfs.namenode.checkpoint.check.period</name>
	<value>60</value>
	<description> 1分钟检查一次操作次数</description>
</property>

镜像文件和编辑日志文件
镜像文件和日志文件

NameNode被格式化之后,将在/opt/module/hadoop-2.8.4/data/tmp/dfs/name/current目录中产生如下文件,需要注意的是只能在NameNode所在的节点才能找到此文件。
可以使用命令才查找:

find . -name edits*

在这里插入图片描述

  1. Fsimage文件:HDFS文件系统元数据的一个永久性的检查点,其中包含HDFS文件系统的所有目录和文件idnode的序列化信息。
  2. Edits文件:存放HDFS文件系统的所有更新操作的路径,文件系统客户端执行的所有写操作首先会被记录到edits文件中。
  3. seen_txid文件保存的是一个数字,就是最后一个edits_的数字。
  4. 每次Namenode启动的时候都会将fsimage文件读入内存,并从00001开始到seen_txid中记录的数字依次执行每个edits里面的更新操作,保证内存中的元数据信息是最新的、同步的,可以看成Namenode启动的时候就将fsimage和edits文件进行了合并。
查看Fsimage文件和Edits文件

如果需要查看Fsimage文件和Edits文件,在linux中查看十分不方便,并且会有格式错误,所以需要进行文件转化。

  1. oiv和oev命令
    在这里插入图片描述

  2. oiv查看fsimage文件
    基本语法:

    hdfs oiv -p 文件类型 -i镜像文件 -o 转换后文件输出路径
    

    eg:

    hdfs oiv -p XML -i fsimage_0000000000000000316 -o /opt/fsimage.xml
    

    需要注意的是,转换后文件的输出路径要加上文件转换后的名称。

  3. oev查看edits文件

    基本语法:

    hdfs oev -p 文件类型 -i编辑日志 -o 转换后文件输出路径
    -p	–processor <arg>   指定转换类型: binary (二进制格式), xml (默认,XML格式),stats
    -i	–inputFile <arg>     输入edits文件,如果是xml后缀,表示XML格式,其他表示二进制
    -o 	–outputFile <arg> 输出文件,如果存在,则会覆盖
    

    eg:

    hdfs oev -p XML -i edits_0000000000000000135-0000000000000000135 -o /opt/module/hadoop-2.8.4/edits.xml -p stats
    

    在这里插入图片描述
    图中每个RECORD记录一次操作。
    OP_ADD代表添加文件操作、OP_MKDIR代表创建目录操作。
    里面还记录了:文件路径(PATH)、修改时间(MTIME)、添加时间(ATIME)、客户端名称(CLIENT_NAME)、客户端地址(CLIENT_MACHINE)、权限(PERMISSION_STATUS)等非常有用的信息。

滚动编辑日志

正常情况HDFS文件系统有更新操作时,就会滚动编辑日志。也可以用命令强制滚动编辑日志。(必须在集群启动的前提下进行)
命令:

hdfs dfsadmin -rollEdits

镜像文件什么时候产生:Namenode启动时加载镜像文件和编辑日志

版本信息
NameNode版本号

在/opt/module/hadoop-2.8.4/data/tmp/dfs/name/current查看VERSION文件
在这里插入图片描述

(1) namespaceID:在HDFS上,会有多个Namenode,所以不同Namenode的namespaceID是不同的,分别管理一组blockpoolID。
(2)clusterID:集群id,全局唯一。
(3)cTime属性标记了namenode存储系统的创建时间,对于刚刚格式化的存储系统,这个属性为0;但是在文件系统升级之后,该值会更新到新的时间戳。
(4)storageType属性说明该存储目录包含的是namenode的数据结构。
(5)blockpoolID:一个block pool id标识一个block pool,并且是跨集群的全局唯一。当一个新的Namespace被创建的时候(format过程的一部分)会创建并持久化一个唯一ID。在创建过程构建全局唯一的BlockPoolID比人为的配置更可靠一些。NN将BlockPoolID持久化到磁盘中,在后续的启动过程中,会再次load并使用。
(6)layoutVersion是一个负整数。通常只有HDFS增加新特性时才会更新这个版本号。
(7)storageID (存储ID):是DataNode的ID,不唯一。

SecondaryNameNode目录结构

Secondary NameNode是用来监控HDFS状态的辅助后台程序,每隔一段时间获取HDFS元数据的快照。
可以在/opt/module/hadoop-2.8.4/data/tmp/dfs/namesecondary/current这个目录中查看SecondaryNameNode目录结构。
目录结构类似于NameNode的目录结构。
在这里插入图片描述
SecondaryNameNode的namesecondary/current目录和主namenode的current目录的布局相同。在主namenode发生故障时(假设没有及时备份数据),可以从SecondaryNameNode恢复数据。
如何恢复数据?
方法一:将SecondaryNameNode中数据拷贝到namenode存储数据的目录;

cp -r /opt/module/hadoop-2.8.4/data/dfs/namesecondary/* /opt/module/hadoop-2.8.4/data/dfs/name/

方法二:使用-importCheckpoint选项启动namenode守护进程,从而将SecondaryNameNode中数据拷贝到namenode目录中。
(1)修改/opt/module/hadoop-2.8.4/etc/hadoop目录下的hdfs-site.xml中的配置,value的单位是秒,默认3600,即1小时,仅配置一台即可。加入以下代码段。

<property>
  <name>dfs.namenode.checkpoint.period</name>
  <value>120</value>
</property>

<property>
  <name>dfs.namenode.name.dir</name>
  <value>/opt/module/hadoop-2.8.4/data/dfs/name</value>
</property>

需要注意的是:如果SecondaryNameNode不和Namenode在一个主机节点上,需要将SecondaryNameNode存储数据的目录拷贝到Namenode存储数据的平级目录。

(2)导入检查点数据(等待一会ctrl+c结束掉)

bin/hdfs namenode -importCheckpoint

(3)启动namenode

sbin/hadoop-daemon.sh start namenode

(4)如果提示文件锁了,可以删除in_use.lock

rm -rf /opt/module/hadoop-2.8.4/data/dfs/namesecondary/in_use.lock
集群安全模式操作

(1)概述
Namenode启动时,首先将映像文件(fsimage)载入内存,并执行编辑日志(edits)中的各项操作。一旦在内存中成功建立文件系统元数据的映像,则创建一个新的fsimage文件和一个空的编辑日志。此时,namenode开始监听datanode请求。但是此刻,namenode运行在安全模式,即namenode的文件系统对于客户端来说是只读的。
系统中的数据块的位置并不是由namenode维护的,而是以块列表的形式存储在datanode中。在系统的正常操作期间,namenode会在内存中保留所有块位置的映射信息。在安全模式下,各个datanode会向namenode发送最新的块列表信息,namenode了解到足够多的块位置信息之后,即可高效运行文件系统。
如果满足“最小副本条件”,namenode会在30秒钟之后就退出安全模式。所谓的最小副本条件指的是在整个文件系统中99.9%的块满足最小副本级别(默认值:dfs.replication.min=1)。在启动一个刚刚格式化的HDFS集群时,因为系统中还没有任何块,所以namenode不会进入安全模式。
集群处于安全模式,不能执行重要操作(写操作)。集群启动完成后,自动退出安全模式。
(2)相关命令

bin/hdfs dfsadmin -safemode get		(功能描述:查看安全模式状态)
bin/hdfs dfsadmin -safemode enter  	(功能描述:进入安全模式状态)
bin/hdfs dfsadmin -safemode leave	(功能描述:离开安全模式状态)
bin/hdfs dfsadmin -safemode wait	(功能描述:等待安全模式状态)
  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值