HDFS故障排除-NameNode故障处理

最新推荐文章于 2024-03-23 16:14:31 发布

守猪_待兔

最新推荐文章于 2024-03-23 16:14:31 发布

阅读量671

点赞数

分类专栏： Hadoop 文章标签： hdfs hadoop 大数据

本文链接：https://blog.csdn.net/weixin_44216665/article/details/126432026

版权

当NameNode进程意外终止且数据丢失时，可以通过从SecondaryNameNode复制数据到NameNode的存储目录并重启NameNode来恢复。本文档详细介绍了这一过程，包括模拟故障、解决问题的步骤以及如何重新启动NameNode。

摘要由CSDN通过智能技术生成

1. NameNode故障处理

1）需求：

NameNode进程挂了并且存储的数据也丢失了，如何恢复NameNode

2）故障模拟

（1）kill -9 NameNode进程

[atguigu@hadoop102 current]$ kill -9 1310

（2）删除NameNode存储的数据（/opt/module/hadoop-3.1.3/data/tmp/dfs/name）

[atguigu@hadoop102 hadoop-3.1.3]$ rm -rf /opt/module/hadoop-3.1.3/data/dfs/name/*

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

守猪_待兔

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

hadoop配置文件详解系列（二）-hdfs-site.xml篇

关于代码的那些事

03-09

2412

上一篇介绍了core-site.xml的配置，本篇继续介绍hdfs-site.xml的配置。属性名称属性值描述 hadoop.hdfs.configuration.version 1 配置文件的版本 dfs.namenode.rpc-address 　处理所有客户端请求的RPC地址，若在HA场景中，可能有多个namenode，就把名称ID添加到进来。该属性的格式为nn-host1:rpc-port。 d

HDFS之NameNode

Si_kenn的博客

12-07

616

旁白者笔下初遇Hadoop 昨晚整理的资料不知道是没保存还是怎么的,今天一开机就是找不到,差点没脑裂.所以先提前提醒下伙伴们做事养成随手保存的习惯.其实,我是个蛮谨慎的人的,但是聪明反被聪明误,淹死的往往是会游泳的人,所以在写代码的时候,随手写随手测,小心驶得万年船. 今天没有代码,纯理论,有点枯燥,但是我想对理解NN的工作机制还是很有帮助的.昨天还画了好几遍的图,今天就不画了,大家就看纯文本吧,纯纯的青春,纯纯的爱,就算青春不再依旧热爱.好了,接下来我们就看看NN是怎么工作的吧. 4.NameNode 用

1 条评论您还未登录，请先登录后发表或查看评论

hadoop的NameNode故障处理

LastYHM的博客

09-23

552

NameNode故障后，可以采用如下两种方法恢复数据。+ 1）将SecondaryNameNode中数据拷贝到NameNode存储数据的目录；（1）kill -9 NameNode进程（2）删除NameNode存储的数据（/opt/module/hadoop-3.1.3/data/tmp/dfs/name） [user1@hadoop102 hadoop-3.1.3]$ rm -rf /opt/module/hadoop-3.1.3/data/dfs/name/* （3）拷贝SecondaryName

HDFS---Namenode

weixin_30426957的博客

07-23

189

Overview Namenode 是HDFS中负责namespace管理的节点，Namenode 保存了当前集群中所存储的的所有的文件的元数据信息，namenode同时与集群中其它的节点通信，以保持元数据与系统中的文件的一致性，同时也和client通信，以响应client对文件的需要。 NameNode中主要有两个大类来处理这些需求， FSNamesystem ---- 是一个门...

HDFS中namenode部分概述（一）

xhh198781的专栏

10-25

5455

关于hdfs源码的阅读，我这个小菜鸟觉得有这么两种方式去读，一是抓住它关键的数据结构，知道了他们是干什么用的，剩下的就是一些围着他们转的操作了；二是跟踪执行过程的流程式阅读，以mkdir为例，从client应用发出mkdir请求到传递给namenode，再在datanode上执行，这么一个过程详细地跟踪下来，就理解了一大片。两种路子没有孰优孰劣，配合使用或许更有效。本篇先从数据结构的角度分享一点自

hadoop之hdfs文件系统

aqj83938的博客

09-21

149

（一）传统的网络文件系统NFS 传统的网络文件系统（NFS）虽然也称为分布式文件系统，但是其存在一些限制。由于NFS中，文件是存储在单机上，因此无法提供可靠性保证，当很多客户端同时访问NFS Server时，很容易造成服务器压力，造成性能瓶颈。另外如果要对NFS中的文件进行操作，需要首先同步到本地，这些修改在同步到服务端之前，其他客户端是...

大数据—Hadoop（二十一）_ 生产调优手册_04、HDFS（4）_故障排除

梳理大数据技术

11-16

575

相互指正，相互学习

第六章 HDFS—故障排除

qq_38358499的博客

06-28

655

说明：采用三台服务器即可，恢复到 Yarn 开始的服务器快照。 6.1 NameNode故障处理需求：NameNode 进程挂了并且存储的数据也丢失了，如何恢复 NameNode 故障模拟 kill -9 NameNode 进程：kill -9 19886 删除 NameNode 存储的数据（/opt/module/hadoop-3.1.3/data/tmp/dfs/name）：rm -rf /opt/module/hadoop-3.1.3/data/dfs/name...

Hadoop HDFS源码学习之NameNode部分

weixin_38836273的博客

03-08

1403

NameNode源码学习文章目录NameNode源码学习一、NameNode简介二、文件系统目录树2.1 INode相关类2.2 快照特性的实现2.3 FSEditLog类 Java、大数据开发学习要点（持续更新中…）一、NameNode简介二、文件系统目录树 NameNode最重要的两个功能之一是维护文件系统的命名空间。HDFS文件系统命名空间在NameNode内存中是以一颗树的结构来存储的。无论是目录还是文件，在目录树中被看作一个INode节点。目录对应INodeDirectory

HDFS体系结构(NameNode、DataNode详解)

03-30

HDFS体系结构(NameNode、DataNode详解)

HDFS架构——NameNode

常敲代码手不抖

08-29

1184

在学习NameNode之前，我们先回顾一下 HDFS 的整个系统构架。在上一篇文章中我们讲过了 NameNode 是管理节点，里面存放元数据，那么我们先来看看元数据的存储细节。元数据存储细节 HDFS 为了保证数据的快速读写，并且要保证数据的安全，它就将元数据保存在内存一份，还保存在磁盘一份，来看看元数据在内存中是如何存储的。我们举个例

笔记1-Hadoop之HDFS的NameNode

最新发布

m0_73450879的博客

03-23

1345

开源版本的HADOOP和其他框架的对应关系很混乱，要注意。Hadoop四大模块：Common HDFS MapReduce YarnHadoop能对大量的数据进行分布式处理，可以轻松的从一台服务器扩展到千台服务器，并且每一台服务器都能进行本地计算和存储。Hadoop还提供了用于处理和探测异常的机制。

HDFS中NameNode工作机制

zyd_994264926326的博客

07-29

650

引言 NameNode：存储元数据管理整个HDFS集群 DataNode：存储数据的block SecondaryNameNode：辅助HDFS完成一些事情 NameNode和SecondaryNameNode工作流程编辑日志文件：edits 记载客户端对HDFS的增删改查的操作日志镜像文件：fsimage 记载元数据（HDFS上存储的文件目录）及操作日志 NameNode和SecondaryNameNode工作机制工作流程详解 ...

Hadoop HDFS概念学习系列之NameNode（五）

weixin_33896726的博客

11-14

130

　HDFS采用Master/Slave架构。NameNode就是HDFS的Master架构。HDFS系统包括一个NameNode组件，主要负责HDFS文件系统的管理工作，具体包括名称空间(namespace)管理，文件Block管理。　　NameNode提供的是始终被动接收服务的server。　　　　　　NameNode主要有三类协议接口: 　　　　...

HDFS之namenode文件解析

bigdodo的博客

04-07

3134

一、HDFS体系结构 HDFS支持主从结构，主节点称为NameNode，从节点称为DateNode，DataNode支持多个节点。HDFS还包含一个SecondaryNameNode进程，表面意思是一个辅助主节点（备用主节点）伪分布式单节点JPS进程：网络部署结构图： 1.NameNode进程 NameNode是整个文件系统的管理节点，它主要维护着整个文件系统的文件目录树、文件/目录的信息和每个文件对应的数据块列表，并且还负责接收用户的操作请求。目录树：目录之间的层...

HDFS学习笔记【Namenode/数据块管理】

油纸雨伞的博客

04-10

562

Namenode数据块管理

HDFS中的NAMENODE元数据管理（超详细）

weixin_49750432的博客

08-05

4127

文件自身属性信息文件名称、权限、修改时间，文件大小、复制因子、数据块大小文件块位置映射信息记录文件块和DataNode之间的映射信息，即哪个块位于哪个结点上按照存储形式分别为内存元数据和元数据文件两种，分别存在内存和磁盘上SNN可以减小edits logs文件的大小和得到一个最新的fsimage文件，这样也会减小在namenode上的压力。

NameNode 高可用整体架构概述

www_96的博客

11-30

517

NameNode 高可用整体架构概述在 Hadoop 1.0 时代，Hadoop 的两大核心组件 HDFS NameNode 和 JobTracker 都存在着单点问题，这其中以 NameNode 的单点问题尤为严重。因为 NameNode 保存了整个 HDFS 的元数据信息，一旦 NameNode 挂掉，整个 HDFS 就无法访问，同时 Hadoop 生态系统...

深入探讨Hadoop故障排除与性能调优实战

- 了解NameNode和DataNode的运行机制及常见故障，例如NameNode故障导致的集群不可用问题 2. 常见故障类型及处理方法 - NameNode故障: 详细讨论NameNode无法启动、挂掉或内存不足等问题的排查与解决 - DataNode...