九 NameNode和SecondaryNameNode

最新推荐文章于 2024-06-10 05:30:00 发布
最新推荐文章于 2024-06-10 05:30:00 发布
阅读量133 收藏
点赞数
分类专栏： Hadoop 文章标签： hadoop hdfs namenode 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/andyonlines/article/details/104434373
版权

文章目录

1 NN和2NN工作机制

思考：NameNode中的元数据是存储在哪里的？
首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新FsImage，就会导致效率过低，但如果不更新，就会发生一致性问题，一旦NameNode节点断电，就会产生数据丢失。因此，引入Edits文件(只进行追加操作，效率很高)。每当元数据有更新或者添加元数据时，修改内存中的元数据并追加到Edits中。这样，一旦NameNode节点断电，可以通过FsImage和Edits的合并，合成元数据。但是，如果长时间添加数据到Edits中，会导致该文件数据过大，效率降低，而且一旦断电，恢复元数据需要的时间过长。因此，需要定期进行FsImage和Edits的合并，如果这个操作由NameNode节点完成，又会效率过低。因此，引入一个新的节点SecondaryNamenode，专门用于FsImage和Edits的合并。

NN和2NN工作机制:
在这里插入图片描述
fsimage 和 edits 都保存在磁盘中,在启动集群的时候会把fsimage和edits加载到内存,这时候的数据是最新的(内存 = fsimage + edits),操作hdfs,先回在edits文件记录下来然后在更改内存大中的值.

  1. 第一阶段：NameNode启动
    （1）第一次启动NameNode格式化后，创建Fsimage和Edits文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。

（2）客户端对元数据进行增删改的请求。

（3）NameNode记录操作日志，更新滚动日志。

（4）NameNode在内存中对元数据进行增删改。

  1. 第二阶段：Secondary NameNode工作

  2. （1）Secondary NameNode询问NameNode是否需要CheckPoint。直接带回NameNode是否检查结果。

    （2）Secondary NameNode请求执行CheckPoint。

    （3）NameNode滚动正在写的Edits日志。

    （4）将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode。

    （5）Secondary NameNode加载编辑日志和镜像文件到内存，并合并。

    （6）生成新的镜像文件fsimage.chkpoint。

    （7）拷贝fsimage.chkpoint到NameNode。

    （8）NameNode将fsimage.chkpoint重新命名成fsimage。

NN和2NN工作机制详解：

Fsimage：NameNode内存中元数据序列化后形成的文件。
Edits：记录客户端更新元数据信息的每一步操作（可通过Edits运算出元数据）。
NameNode启动时，先滚动Edits并生成一个空的edits.inprogress，然后加载Edits和Fsimage到内存中，此时NameNode内存就持有最新的元数据信息。Client开始对NameNode发送元数据的增删改的请求，这些请求的操作首先会被记录到edits.inprogress中（查询元数据的操作不会被记录在Edits中，因为查询操作不会更改元数据信息），如果此时NameNode挂掉，重启后会从Edits中读取元数据的信息。然后，NameNode会在内存中执行元数据的增删改的操作。
由于Edits中记录的操作会越来越多，Edits文件会越来越大，导致NameNode在启动加载Edits时会很慢，所以需要对Edits和Fsimage进行合并（所谓合并，就是将Edits和Fsimage加载到内存中，照着Edits中的操作一步步执行，最终形成新的Fsimage）。SecondaryNameNode的作用就是帮助NameNode进行Edits和Fsimage的合并工作。
SecondaryNameNode首先会询问NameNode是否需要CheckPoint（触发CheckPoint需要满足两个条件中的任意一个，定时时间到和Edits中数据写满了）。直接带回NameNode是否检查结果。SecondaryNameNode执行CheckPoint操作，首先会让NameNode滚动Edits并生成一个空的edits.inprogress，滚动Edits的目的是给Edits打个标记，以后所有新的操作都写入edits.inprogress，其他未合并的Edits和Fsimage会拷贝到SecondaryNameNode的本地，然后将拷贝的Edits和Fsimage加载到内存中进行合并，生成fsimage.chkpoint，然后将fsimage.chkpoint拷贝给NameNode，重命名为Fsimage后替换掉原来的Fsimage。NameNode在启动时就只需要加载之前未合并的Edits和Fsimage即可，因为合并过的Edits中的元数据信息已经被记录在Fsimage中。

2 Fsimage和Edits解析

在这里插入图片描述
hdfs 干可用的checkout 流程是由standby nameNode 完成
https://blog.csdn.net/zhanyuanlin/article/details/78077977

2.1 oiv查看Fsimage文件

（1）查看oiv和oev命令

hdfs
oiv            apply the offline fsimage viewer to an fsimage
oev            apply the offline edits viewer to an edits file

（2）基本语法

hdfs oiv -p 文件类型 -i镜像文件 -o 转换后文件输出路径

(3) 实例

[andy@xiaoai01 current]$ ls
edits_0000000000000000001-0000000000000000008
edits_0000000000000000009-0000000000000000037
edits_0000000000000000038-0000000000000000057
edits_0000000000000000058-0000000000000000059
edits_0000000000000000060-0000000000000000061
edits_0000000000000000062-0000000000000000063
edits_0000000000000000064-0000000000000000065
edits_0000000000000000066-0000000000000000067
edits_0000000000000000068-0000000000000000069
edits_0000000000000000070-0000000000000000070
edits_0000000000000000071-0000000000000000072
edits_inprogress_0000000000000000073
fsimage_0000000000000000070
fsimage_0000000000000000070.md5
fsimage_0000000000000000072
fsimage_0000000000000000072.md5
seen_txid
VERSION
[andy@xiaoai01 current]$

[andy@xiaoai01 current]$ hdfs oiv -p XML -i fsimage_0000000000000000072 -o /opt/module/hadoop-2.7.2/fsimage.xml

生成的fsimage.xml如下:

<?xml version="1.0"?>
<fsimage><NameSection>
<genstampV1>1000</genstampV1><genstampV2>1006</genstampV2><genstampV1Limit>0</genstampV1Limit><lastAllocatedBlockId>1073741830</lastAllocatedBlockId><txid>72</txid></NameSection>
<INodeSection><lastInodeId>16402</lastInodeId><inode><id>16385</id><type>DIRECTORY</type><name></name><mtime>1582274978845</mtime><permission>andy:supergroup:rwxr-xr-x</permission><nsquota>9223372036854775807</nsquota><dsquota>-1</dsquota></inode>
<inode><id>16386</id><type>DIRECTORY</type><name>tmp</name><mtime>1582226609270</mtime><permission>andy:supergroup:rwxrwx---</permission><nsquota>-1</nsquota><dsquota>-1</dsquota></inode>
<inode><id>16387</id><type>DIRECTORY</type><name>hadoop-yarn</name><mtime>1582226609271</mtime><permission>andy:supergroup:rwxrwx---</permission><nsquota>-1</nsquota><dsquota>-1</dsquota></inode>
<inode><id>16388</id><type>DIRECTORY</type><name>staging</name><mtime>1582226609271</mtime><permission>andy:supergroup:rwxrwx---</permission><nsquota>-1</nsquota><dsquota>-1</dsquota></inode>
<inode><id>16389</id><type>DIRECTORY</type><name>history</name><mtime>1582226609306</mtime><permission>andy:supergroup:rwxrwx---</permission><nsquota>-1</nsquota><dsquota>-1</dsquota></inode>
<inode><id>16390</id><type>DIRECTORY</type><name>done</name><mtime>1582226609271</mtime><permission>andy:supergroup:rwxrwx---</permission><nsquota>-1</nsquota><dsquota>-1</dsquota></inode>
<inode><id>16391</id><type>DIRECTORY</type><name>done_intermediate</name><mtime>1582226609306</mtime><permission>andy:supergroup:rwxrwxrwt</permission><nsquota>-1</nsquota><dsquota>-1</dsquota></inode>
<inode><id>16392</id><type>DIRECTORY</type><name>andy</name><mtime>1582277706648</mtime><permission>andy:supergroup:rwxr-xr-x</permission><nsquota>-1</nsquota><dsquota>-1</dsquota></inode>
<inode><id>16394</id><type>DIRECTORY</type><name>input</name><mtime>1582274554433</mtime><permission>andy:supergroup:rwxr-xr-x</permission><nsquota>-1</nsquota><dsquota>-1</dsquota></inode>
<inode><id>16395</id><type>FILE</type><name>test.txt</name><replication>3</replication><mtime>1582274389762</mtime><atime>1582274388785</atime><perferredBlockSize>134217728</perferredBlockSize><permission>andy:supergroup:rw-r--r--</permission><blocks><block><id>1073741826</id><genstamp>1002</genstamp><numBytes>28</numBytes></block>
</blocks>
</inode>
<inode><id>16396</id><type>DIRECTORY</type><name>1108</name><mtime>1582274978845</mtime><permission>andy:supergroup:rwxr-xr-x</permission><nsquota>-1</nsquota><dsquota>-1</dsquota></inode>
<inode><id>16397</id><type>DIRECTORY</type><name>daxian</name><mtime>1582274978845</mtime><permission>andy:supergroup:rwxr-xr-x</permission><nsquota>-1</nsquota><dsquota>-1</dsquota></inode>
<inode><id>16398</id><type>DIRECTORY</type><name>banzhang</name><mtime>1582274978845</mtime><permission>andy:supergroup:rwxr-xr-x</permission><nsquota>-1</nsquota><dsquota>-1</dsquota></inode>
<inode><id>16402</id><type>FILE</type><name>README.txt</name><replication>2</replication><mtime>1582277706744</mtime><atime>1582277706648</atime><perferredBlockSize>134217728</perferredBlockSize><permission>andy:supergroup:rw-r--r--</permission><blocks><block><id>1073741830</id><genstamp>1006</genstamp><numBytes>1366</numBytes></block>
</blocks>
</inode>
</INodeSection>
<INodeReferenceSection></INodeReferenceSection><SnapshotSection><snapshotCounter>0</snapshotCounter></SnapshotSection>
<INodeDirectorySection><directory><parent>16385</parent><inode>16396</inode><inode>16392</inode><inode>16386</inode></directory>
<directory><parent>16386</parent><inode>16387</inode></directory>
<directory><parent>16387</parent><inode>16388</inode></directory>
<directory><parent>16388</parent><inode>16389</inode></directory>
<directory><parent>16389</parent><inode>16390</inode><inode>16391</inode></directory>
<directory><parent>16392</parent><inode>16402</inode><inode>16394</inode></directory>
<directory><parent>16394</parent><inode>16395</inode></directory>
<directory><parent>16396</parent><inode>16397</inode></directory>
<directory><parent>16397</parent><inode>16398</inode></directory>
</INodeDirectorySection>
<FileUnderConstructionSection></FileUnderConstructionSection>
<SnapshotDiffSection><diff><inodeid>16385</inodeid></diff></SnapshotDiffSection>
<SecretManagerSection><currentId>0</currentId><tokenSequenceNumber>0</tokenSequenceNumber></SecretManagerSection><CacheManagerSection><nextDirectiveId>1</nextDirectiveId></CacheManagerSection>
</fsimage>

思考：可以看出，Fsimage中没有记录块所对应DataNode，为什么？
在集群启动后，要求DataNode上报数据块信息，并间隔一段时间后再次上报。

2.2 oev查看Edits文件

（1）基本语法

hdfs oev -p 文件类型 -i编辑日志 -o 转换后文件输出路径

和 oiv 非常相似

3 CheckPoint时间设置

（1）通常情况下，SecondaryNameNode每隔一小时执行一次。
[hdfs-default.xml]

<property>
  <name>dfs.namenode.checkpoint.period</name>
  <value>3600</value>
</property>

（2）一分钟检查一次操作次数，3当操作次数达到1百万时，SecondaryNameNode执行一次。

<property>
  <name>dfs.namenode.checkpoint.txns</name>
  <value>1000000</value>
<description>操作动作次数</description>
</property>

<property>
  <name>dfs.namenode.checkpoint.check.period</name>
  <value>60</value>
<description> 1分钟检查一次操作次数</description>
</property >

4 NameNode故障处理

NameNode故障后，可以采用如下两种方法恢复数据。

方法一：将SecondaryNameNode中数据拷贝到NameNode存储数据的目录；

  1. kill -9 NameNode进程

  2. 删除NameNode存储的数据（/opt/module/hadoop-2.7.2/data/tmp/dfs/name）

rm -rf /opt/module/hadoop-2.7.2/data/tmp/dfs/name/*

  1. 拷贝SecondaryNameNode中数据到原NameNode存储数据目录
scp -r andy@xiaoai02:/opt/module/hadoop-2.7.2/data/tmp/dfs/namesecondary/* ./name/
  1. 重新启动NameNode

sbin/hadoop-daemon.sh start namenode

方法二：使用-importCheckpoint选项启动NameNode守护进程，从而将SecondaryNameNode中数据拷贝到NameNode目录中。

  1. 修改hdfs-site.xml中的
<property>
  <name>dfs.namenode.checkpoint.period</name>
  <value>120</value>
</property>

<property>
  <name>dfs.namenode.name.dir</name>
  <value>/opt/module/hadoop-2.7.2/data/tmp/dfs/name</value>
</property>

  1. kill -9 NameNode进程

  2. 删除NameNode存储的数据（/opt/module/hadoop-2.7.2/data/tmp/dfs/name）

rm -rf /opt/module/hadoop-2.7.2/data/tmp/dfs/name/*
  1. 如果SecondaryNameNode不和NameNode在一个主机节点上，需要将SecondaryNameNode存储数据的目录拷贝到NameNode存储数据的平级目录，并删除in_use.lock文件
scp -r andy@xiaoai03:/opt/module/hadoop-2.7.2/data/tmp/dfs/namesecondary ./

 rm -rf in_use.lock

pwd
/opt/module/hadoop-2.7.2/data/tmp/dfs

ls
data  name  namesecondary
  1. 导入检查点数据（等待一会ctrl+c结束掉）
bin/hdfs namenode -importCheckpoint
  1. 启动NameNode
 sbin/hadoop-daemon.sh start namenode

5 集群安全模式

1). 概述
在这里插入图片描述

2). 基本语法
集群处于安全模式，不能执行重要操作（写操作）。集群启动完成后，自动退出安全模式。
（1）bin/hdfs dfsadmin -safemode get （功能描述：查看安全模式状态）
（2）bin/hdfs dfsadmin -safemode enter （功能描述：进入安全模式状态）
（3）bin/hdfs dfsadmin -safemode leave （功能描述：离开安全模式状态）
（4）bin/hdfs dfsadmin -safemode wait （功能描述：等待安全模式状态）

3). 案例
模拟等待安全模式
（1）查看当前模式

hdfs dfsadmin -safemode get
Safe mode is OFF

（2）先进入安全模式

bin/hdfs dfsadmin -safemode enter

（3）创建并执行下面的脚本

在/opt/module/hadoop-2.7.2路径上，编辑一个脚本safemode.sh

touch safemode.sh
vim safemode.sh

#!/bin/bash
hdfs dfsadmin -safemode wait
hdfs dfs -put /opt/module/hadoop-2.7.2/README.txt /

chmod 777 safemode.sh

./safemode.sh

（4）再打开一个窗口，执行

bin/hdfs dfsadmin -safemode leave

（5）观察

（a）再观察上一个窗口

Safe mode is OFF

（b）HDFS集群上已经有上传的数据了。

andyonlines
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
第5章 NameNode和SecondaryNameNode
留不住斜阳的博客
06-02 1030
NameNode和SecondaryNameNode工作机制详解
Secondary NameNode和Standby NameNde的区别
JaneRoad
03-04 1700
Secondary NameN...
浅析 Secondary NameNode(辅助namenode)
会飞的大象
05-03 1万+
浅析 Secondary NameNode(辅助namenode)
NameNode优化笔记 (一)
coderplay的专栏
01-12 291
很久没有发博客了, 最近这段时间工作上、生活上杂事比较多。最近经常有人问我在学校还是在公司。其实之前在学校读研, 入研之前工作过几年。那时候在学校研究MapReduce, 部署了10台的PC机做些Hadoop与机器学习的研究。08年末觉得学校限制我的发展, 就联系了几家公司实习。最后我到了淘宝实习了一年半, 那时候因为身份还是学生, 前期主要维护淘宝的Hadoop集群, 后期主要研发Hive, 同...
NameNode 和 SecondaryNameNode
最新发布
程序猿进阶
06-10 1093
由于 Edits中记录的操作会越来越多，Edits文件会越来越大，导致 NameNode在启动加载 Edits时会很慢，所以需要对 Edits和Fsimage进行合并（所谓合并，就是将 Edits和 Fsimage加载到内存中，照着 Edits中的操作一步步执行，最终形成新的Fsimage）。这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新FsImage，就会导致效率过低，但如果不更新，就会发生一致性问题，一旦 NameNode节点断电，就会产生数据丢失。因此，元数据需要存放在内存中。
NameNode和SecondaryNameNode详解
热门推荐
安歌Object
08-14 1万+
一、NN和2NN工作机制 NN和2NN工作机制，如图 1.第一阶段：NameNode启动 （1）第一次启动NameNode格式化后，创建fsimage和edits文件。 如果不是第一次启动，直接加载编辑日志和镜像文件到内存。 （2）客户端对元数据进行增删改的请求。 （3）NameNode记录操作日志，更新滚动日志。 （4）NameNode在内存中对数据进行增删改查。 2....
Namenode和SecondaryNamenode工作机制
qq_48959845的博客
08-27 356
1，首先Namenode需要和客户端进行交互 为了提高交互效率，Namenode需要把元数据放在内存中，但是为了防止断电数据丢失，元数据需要备份到磁盘（FsImage） 2，在Namenode与客户端交互的过程中需要对元数据进行操作，在交互的过程中，如果同步更新FsImage，那么效率就会非常低， 3，为了解决上述问题，因此引入Edits文件（此文件只进行追加操作）每当由元数据需要操作时，操作后的元数据追加到Edits中，这样即使断电，通过合并Edits和FsImage也可以进行数据保存。 4，那么如果一直
Namenode 与 SecondaryNameNode
凉茶铺的博客
09-27 925
介绍了NameNode的相关细节
NameNode和 SecondaryNameNode的区别与联系
qq_53229073的博客
12-18 2236
区别 （1）NameNode负责管理整个文件系统的元数据，以及每一个路径（文件）所对应的数据块信息。 （2）SecondaryNameNode主要用于定期合并命名空间镜像和命名空间镜像的编辑日志。 联系 （1）SecondaryNameNode中保存了一份和namenode一致的镜像文件（fsimage）和编辑日志（edits）。 （2）在主namenode发生故障时，（假设没有及时备份数据），可以从SecondaryNameNode恢复数据。 ...
java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument
andy的博客
02-03 3243
当使用idea 运行hadoop client操作hdfs是出现以下错误 java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V at org.apache.hadoop.conf.Configuration.set(Configuration.java:1357) at org.apache.hadoop.conf.C
hdfs HA 出现Cannot find any valid remote NN to service request
andy的博客
03-13 2172
文章目录 所有的nameNode 都是standby状态,查看出现 Cannot find any valid remote NN to service request 解决办法: 停掉hadoop的服务 在所有的nameNode上执行 hdfs zkfc -formatZK
hadoop 3.2.1集群和2.7 版本部署的区别
andy的博客
03-21 1688
namenode默认端口号从50070变为9870 群起集群的配置文件从slaves变为workers.
三 Hadoop运行模式之本地运行模式和伪分布式模式
andy的博客
02-19 364
Hadoop运行模式包括： (1) 本地模式(开发不会用) (2) 伪分布式模式(开发不会用) (3) 完全分布式模式(重要开发一定是用这种模式) 虽然本地模式和伪分布式模式开发不会用,但为了感受一下Hadoop的魅力,还是简单介绍一下. 1 本地运行模式 如果成功安装了Hadoop 和配置java和Hadoop的环境变量,就不用再作配置了.直接可以用了. 1.1 官方Grep案例 Grep 和l...
二十二 Zookeeper
andy的博客
03-04 280
文章目录1 Zookeeper概述1.1 概述1.2 特点1.3 数据结构1.4 应用场景1.5 下载地址2 Zookeeper安装3 Zookeeper单点模式的使用3.1 服务端的启动3.2 配置文件的配置参数的解读 1 Zookeeper概述 1.1 概述 分布式系统：分布式系统指由很多台计算机组成的一个整体！这个整体一致对外，并且处理同一请求！系统对内透明，对外不透明！内部的每台计算机，都...
十三 MapReduce之InputFormat
andy的博客
02-26 256
文章目录1 MapReduce的数据流2 切片与MapTask并行度决定机制3 FileInputFormat 切片大体步骤4 FileInputFormat切片机制5 FileInputFormat实现类5.1 TextInputFormat实现类5.2 KeyValueFormat实现类5.3 NLineInputFormat 实现类5.4 CombineTextInputFormat 实现类...
十五 Shuffle机制之parttition分区
andy的博客
03-02 245
文章目录1 Shuffle过程 1 Shuffle过程 Map方法之后，Reduce方法之前的数据处理过程称之为Shuffle. 整体过程就不作介绍.可以看一下MapReduce工作流程 https://blog.csdn.net/andyonlines/article/details/104529634 里面的 7) - 13) 就是Shuffle过程的介绍. ...
四 Hadoop运行模式之完全分布式运行模式
andy的博客
02-20 230
文章目录1. 虚拟机准备2. SSH无密登录配置2.1 配置ssh2.2 无密钥配置2.3. .ssh文件夹下（~/.ssh）的文件功能解释3. 编写集群分发脚本xsync(名字顺便)3.1. scp（secure copy）安全拷贝3.2. rsync 远程同步工具3.3. xsync 集群分发脚本4. 集群配置4.1 集群部署规划4.2 核心配置文件( core-site.xml )4.2....
二十三 MapReduce Job提交的源码解析
andy的博客
03-05 226
文章目录1、MR的宏观流程2、MapReduce有两种运行模式3、源代码分析3.1 Job在提交之前的预处理阶段3.2 Map阶段 1、MR的宏观流程 1.两个阶段 Map阶段和Reduce阶段 2.一个MapReduce任务为一个Job，一个Job在执行不同的阶段时，启动若干Task Map阶段启动的进程称为MapTask MapTask启动的数量取决于切片数，切N片，启动N个MapTask R...
十八 Reduce Join
andy的博客
03-03 222
文章目录1 Reduce Join工作原理2 实例 1 Reduce Join工作原理 Map端的主要工作：为来自不同表或文件的key/value对，打标签以区别不同来源的记录。然后用连接字段作为key，其余部分和新加的标志作为value，最后进行输出。 Reduce端的主要工作：在Reduce端以连接字段作为key的分组已经完成，我们只需要在每一个分组当中将那些来源于不同文件的记录(在Map阶段...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值