不新鲜的集群重新格式化namenode，用hdfs namenode -format报错

最新推荐文章于 2024-08-15 08:46:09 发布
最新推荐文章于 2024-08-15 08:46:09 发布
阅读量1.1k 收藏 3
点赞数 2
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Attsky/article/details/110733167
版权

hdfs namenode -format

对于一个新鲜的集群，使用hdfs namenode -format是必须要做的事情，这一步叫格式化namenode，format英文本身的意思就是格式化

格式化namenode的目的：HDFS需要格式化的过程来创建存放元数据（image，editlog）的目录

 

我在安装hadoop集群的时候，经常会遇到虚拟机centos7崩溃

这个时候我的slave1和slave2已经是使用过一段时间的集群了，正是因为master的突然崩溃，不得已重新克隆一份slave1节点的完整副本作为master节点

如果不对/export/servers/hadoop-3.1.1/datas/datanode/datanodeDatas/current下的VERSION文件的各种ID（clusterID、storageID）进行修改，有可能

datanode就可以能启动不成功！相应的在log日志中查看hadoop-root-datanode-slave2.log 也可以看到这个错误

至于要不要清空日志里的文件，本人觉得没有太大的必要，因为日志在hadoop配置文件种可以设置几小时清理一次

为保证系统网卡的UUID不发生冲突，最好也将其改一下数字

这时候，在master里重新格式化namenode成功了

崔凯洋
关注
专栏目录
Hadoop3 重新格式化namenode
zhengzaifeidelushang的博客
11-10 2323
Hadoop重新格式化之前一定要先删除data数据和log日志。然后再进行格式化。 一、停止所有Hadoop进程 stop-all.sh 二、 删除配置文件core-site.xml和hdfs-site.xml中指定目录下的文件 vim /moudle/hadoop-3.3.0/etc/hadoop/core-site.xml <configuration> <!-- 用来指定hadoop运行时文件产生目录--> <property> <nam
HDFS中namenode故障处理
a1786742005的博客
02-03 3384
NameNode故障后，可以采用如下两种方法恢复数据： 1、将SecondaryNameNode中数据拷贝到NameNode存储数据的目录 (1) kill -9 NameNode进程 [test@hadoop151 ~]$ jps 3764 DataNode 4069 NodeManager 3654 NameNode 7738 Jps [test@hadoop151 ~]$ kill -9 3...
NameNode的format操作做了什么
热门推荐
xhh198781的专栏
10-25 1万+
在Hadoop的HDFS部署好了之后并不能马上使用，而是先要对配置的文件系统进行格式化。在这里要注意两个概念，一个是文件系统，此时的文件系统在物理上还不存在，或许是网络磁盘来描述会更加合适；二就是格式化，此处的格式化并不是指传统意义上的本地磁盘格式化，而是一些清除与准备工作。本文接下来将主要讨论NameNode节点上的格式化。        我们都知道，NameNode主要被用来管理整个分布式文
Hdfs(四)NameNode
最新发布
技术博客
08-15 500
随着运行时间的推移，edits_inprogress文件中记录的命令会越来越多，同时fsiamge文件中的元数据和内存中的元数据差别也会越来越大。因此，当达到指定条件的时候，edits_inprogress这个文件会产生滚动，滚动生成一个edits文件，同时产生一个新的edits_ingprogress文件。滚动生成edits文件之后，NameNode会将edits文件中的命令再一一取出，解析之后修改fsimage文件中的元数据。在这个过程中，会发现，fsimage文件中的元数据并没有发生变化。
hdfs namenode -format 报错
qq_23280769的专栏
09-02 5214
21:8485. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS) 15/08/28 08:52:02 INFO ipc.Client: Retrying connect to server: hcg05/
Hadoop搭建集群中输入hdfs namenode -format格式化节点时，提示：hdfs: command not found 解决办法
qq_43573663的博客
09-24 8841
分析原因： hadoop的安装路径没有加入到当前路径中 解决办法： 方法1： 进入hadoop的安装目录，在执行hadoop命令时在前面加上：./bin ./sbin 方法2: 进入/etc/profile文件中添加hadoop的安装路径 sudo vim /etc/profile 添加： export HADOOP_HOME=本机的hadoop安装路径 export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 例如： 保存后退出后 sourc
Hadoop搭建集群中输入hdfs namenode -format格式化节点时，提示：hdfs command not found 解决办法
m0_54861649的博客
04-18 4606
分析原因： hadoop的安装路径没有加入到当前路径中 解决办法： 方法1： 进入hadoop的安装目录，在执行hadoop命令时在前面加上：./bin ./sbin 方法2: 进入/etc/profile文件中添加hadoop的安装路径 sudo vim /etc/profile 添加： export HADOOP_HOME=本机的hadoop安装路径 export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 例如： 保存后退出后 source
HDFS之namenode文件解析
bigdodo的博客
04-07 3134
一、HDFS体系结构 HDFS支持主从结构，主节点称为NameNode，从节点称为DateNode，DataNode支持多个节点。HDFS还包含一个SecondaryNameNode进程，表面意思是一个辅助主节点（备用主节点） 伪分布式单节点JPS进程： 网络部署结构图： 1.NameNode进程 NameNode是整个文件系统的管理节点，它主要维护着整个文件系统的文件目录树、文件/目录的信息和每个文件对应的数据块列表，并且还负责接收用户的操作请求。 目录树：目录之间的层...
搭建HDFS集群的错误一：格式化namenode后，格式化失败，日志报错：ERROR namenode.FSnamesystem: initialzation failed
qq_43066912的博客
07-02 5867
这里写自定义目录标题功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 在创作中心设置你喜爱的代码高亮样式，Markdo...
HDFS NameNode恢复流程详解
SparkZZW的博客
11-03 1486
NameNode 一、NameNode简介 NameNode节点像是整个HDFS集群的管理节点，存放着元数据 元数据（Metadata），又称中介数据、中继数据，为描述数据的数据（data about data），主要是描述数据属性的信息 NameNode主要有这么几个职责： ​ 负责客户端请求的响应 ​ 元数据的管理（查询，修改） NameNode对数据的管理采用了三种存储形式： 1. 内存元数据(NameSystem) 2. 磁盘元数据镜像文件（fsimage） 3. 数据操作日志文件（
Hadoop06：HDFS体系结构以及NameNode介绍
weixin_40612128的博客
03-02 3162
一、HDFS体系结构 前面我们掌握了HDFS的基本使用，下面我们来详细分析一下HDFS深层次的内容 HDFS支持主从结构，主节点称为 NameNode ，是因为主节点上运行的有NameNode进程，NameNode支持多个，目前我们的集群中只配置了一个 从节点称为 DataNode ，是因为从节点上面运行的有DataNode进程，DataNode支持多个，目前我们的集群中有两个 HDFS中还包含一个 SecondaryNameNode 进程，这个进程从字面意思上看像是第二个NameNode的意思，其实不是，
hadoop格式化HDFS出现错误解决办法
09-30
主要介绍了hadoop格式化HDFS出现错误解决办法的相关资料,hadoop格式化HDFS报错java.net.UnknownHostException，这里提供解决办法，需要的朋友可以参考下
hdfs-<NameNode的format>
dingjun1
12-06 219
1、在属性dfs.namenode.name.dir指定的目录中创建相应的元数据文件 a)current/VERSION [code="java"] #Fri Dec 06 11:21:35 CST 2013 namespaceID=140437801 clusterID=CID-5a02557f-1977-44d6-b7bc-d124be2d0ba3 cTime=0 stora...
HDFS------hadoop namenode -format
shuhuai007的专栏
09-02 5587
集群搭建好了以后，通常我们会输入命令：/bin/hadoop namenode -format对hdfs进行格式化，那究竟格式化都做些什么具体的工作呢，怀着好奇心到源码里一探究竟。 首先从这行命令/bin/hadoop namenode -format 可以判断出会调用Name
学习hadoop遇到的问题（hadoop namenode -format 格式化失败及解决方案）
小马哥的博客
03-07 1万+
1. 使用命令hadoop namenode -format 对namenode进行格式化，报错如下所示： [hadoop@bj05-ops-photo04 bin]$ ./hadoop namenode -format DEPRECATED: Use of this script to execute hdfs command is deprecated. Instead use the h...
HDFS之NameNode故障处理
ITBOY_ITBOX博客
05-10 1555
NameNode故障后，可以采用如下两种方法恢复数据。 方法一：将SecondaryNameNode中数据拷贝到NameNode存储数据的目录； 1. kill-9 NameNode进程 2.删除NameNode存储的数据（/opt/module/hadoop-2.7.2/data/tmp/dfs/name） [atguigu@hadoop102 hadoop-2.7.2]$ ...
hdfs namenode format （续）
shuhuai007的专栏
09-05 1060
看过路fsimage这个文件的存储，再看看其它三个文件的存储，其它三个文件的存储都很简单，先来看edits文件， editLog.createEditLogFile(getImageFile(sd, NameNodeFile.EDITS));   public synchro
HDFS源码分析之NameNode（2）————Format
weixin_30644369的博客
05-23 124
　　 在Hadoop的HDFS部署好了之后并不能马上使用，而是先要对配置的文件系统进行格式化。在这里要注意两个概念，一个是文件系统，此时的文件系统在物理上还不存在，或许是网络磁盘来描述会更加合适；二就是格式化，此处的格式化并不是指传统意义上的本地磁盘格式化，而是一些清除与准备工作。本文接下来将主要讨论NameNode节点上的格式化。 我们都知道，NameNode主要被用来管理整个分布式文件...
hadoop集群搭建--启动hdfs时NameNode或DataNode或SecondaryNameNode启动失败解决方法
hahatu_的博客
11-24 3385
不管少了哪个进程，先不要烦躁，对应找到操作日志，查看最新错误信息，找到原因，google AI具体报错信息，即可解决。
hdfs namenode -format格式化
06-28
"hdfs namenode -format" 命令用于格式化 HDFS 集群的 Namenode。这意味着它将删除所有现有的文件系统数据并创建一个全新的文件系统。在格式化 Namenode 之前，请务必做好数据备份，因为格式化操作不可逆。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值