[Hadoop]-为什么不能一直格式化NameNode，格式化NameNode需要注意什么

最新推荐文章于 2021-08-10 22:28:35 发布
最新推荐文章于 2021-08-10 22:28:35 发布
阅读量902 收藏 3
点赞数
文章标签： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43193984/article/details/103198667
版权

为什么不能一直格式化NameNode
NameNode与DataNode之间需要又相同的集群ID，两者之间需要相互通信，交互数据，交换命令。当频繁的格式化NameNode时，会导致NameNode和DataNode的ID不相同，两者不能进行通信，此时会产生幽灵情况（NameNode和DataNode不能同时启动）

格式化NameNode需要注意
在格式化NameNode之前需要检查NameNode, DataNode进程是否停止，可以使用jps命令，如果未停止需要将两个进程先停掉。之后删除DataNode里面的信息（在core-site.xml文件中hadoop.tmp.dir属性下设置的存储路径）和logs文件夹，最后格式化NameNode

大茄茄
关注
大数据之-Hadoop伪分布式_NameNode格式化注意事项---大数据之hadoop工作笔记0025
添柴程序猿的专栏
03-22 373
然后我们再来看一下,格式化namenode的时候要注意的问题,如果namenode格式化老出错,一定要注意. 我们可以先去看看进入 /opt/hadoop-2.7.2/data/tmp 这个文件夹 进入这个文件夹以后,有,可以看到有个dfs文件夹,有个mapred文件夹 我们先进入这个dfs文件夹 然后我们看看这个文件夹中有个data文件夹,有个name文件夹 这个name文件夹,就是存储namenode的数据,data文件夹也就是存了data节点的一些真实数据, ...
Hadoop3 重新格式化namenode
zhengzaifeidelushang的博客
11-10 2300
Hadoop重新格式化之前一定要先删除data数据和log日志。然后再进行格式化。 一、停止所有Hadoop进程 stop-all.sh 二、 删除配置文件core-site.xml和hdfs-site.xml中指定目录下的文件 vim /moudle/hadoop-3.3.0/etc/hadoop/core-site.xml <configuration> <!-- 用来指定hadoop运行时文件产生目录--> <property> <nam
为什么不能一直格式化NameNode? 格式化NameNode，要注意什么？
missTu~的博客
11-23 1025
查看namenode和datanode的ID [atguigu@hadoop101 hadoop-2.7.2]$ cd data/tmp/dfs/name/current/ [atguigu@hadoop101 current]$ cat VERSION 结果为： clusterID=CID-f0330a58-36fa-4a2a-a65f-2688269b5837 [atguigu@hadoop...
为什么不能一直格式化NameNode，格式化NameNode，要注意什么？
m0_46581341的博客
05-08 545
注意： 格式化NameNode，会产生新的集群id,导致NameNode和DataNode的集群id不一致，集群找不到已往数据。所以，格式NameNode时，一定要先删除data数据和log日志，然后再格式化NameNode。 ...
NameNode不能一直格式化的原因
热门推荐
诗水人间
09-12 15万+
当执行hdfs namenode -format 对data文件夹格式化。 那么该文件夹下的文件将会重新生成 集群id 集群id在下面这个路径下的VERSION 文件能找到 cat /opt/software/hadoop-2.7.7/data/tmp/dfs/data/current/VERSION cat /opt/software/hadoop-2.7.7/data/tmp/...
hadoop 为什么不能一直格式化namenode
07-18 547
cd data/tmp/dfs/name/current/ cat VERSION clusterID=CID-f0330a58-36fa-4a2a-a65f-2688269b5837 cd data/tmp/dfs/data/current/ clusterID=CID-f033...
hadoop插件apache-hadoop-3.1.0-winutils-master.zip
最新发布
12-17
在Windows环境下安装和使用Hadoop通常比在Linux上更为复杂，因为Hadoop最初是为Linux设计的。然而，通过特定的Windows适配器，如`winutils.exe`，用户可以在Windows系统上搭建Hadoop环境。 标题中的"apache-hadoop-...
格式化namenode时报错No Route to Host from node1/192.168.3.101 to hadoop05:8485 failed on socket timeout ex
01-07
格式化namenode时 报错 No Route to Host from node1/192.168.3.101 to hadoop05:8485 failed on socket timeout exception: java.net.NoRouteToHostException: No route to host解决方案 一、报错信息概要: 在配置...
Hadoop(3) Hadoop伪分布式的搭建和重复格式化namenode的问题解决
Alaskyed的博客
12-23 2056
Hadoop(三) Hadoop伪分布式的搭建和重复格式化namenode的问题解决 文章目录Hadoop(三) Hadoop伪分布式的搭建和重复格式化namenode的问题解决Hadoop伪分布式Hadoop伪分布式介绍Hadoop伪分布式的搭建HDFS伪分布式搭建yarn伪分布式搭建重复格式化namenode产生的问题及其解决方法 Hadoop伪分布式 Hadoop伪分布式介绍 伪分布式指...
hadoop格式化HDFS出现错误解决办法
01-10
hadoop格式化HDFS出现错误解决办法 报错信息： host:java.net.UnknownHostException: centos-wang: centos-wang: unknown error 在执行hadoop namenode -format命令时，出现未知的主机名。  问题原因：  出现...
【问题】多次格式化namenode导致节点无法启动问题
chen7588693的博客
12-06 4033
多次对namenode进行格式化导致节点无法启动的解决   多次格式化namenode造成了namenode和datanode的clusterID不一致！每次格式化时，namenode会更新clusterID，但是datanode只会在首次格式化时确定，因此就造成不一致现象。 这里提供了两种解决办法: 1.打开core-site.xml文件里面配置的目录 打开namenode 对应的current...
hadoop3.1.3格式化NameNode后,启动Namenode,报错
小呀么小白兔
10-12 1794
1.格式化NameNode后,启动Namenode,报错 报错内容: ERROR: Cannot set priority of namenode process XXXX 尝试方法: 一: 1.检查core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml 2.删除data,log文件,重新格式化后,启动Namenode,扔报错 此方法无效,仍是报错 二: 尝试百度,提示有可能为环境变量问题 最终解决方法 1.首先查询日志.
Hadoop 里面配置伪分布式运行模式时格式化NameNode注意事项
底层码农
01-27 1万+
  一、首先就是查看进程是否关闭，如果进程没有关闭，就算你删除了 data 和 logs 他又会产生。jps [atguigu@hadoop100 hadoop-2.7.2]$ ll 总用量 76 drwxr-xr-x. 2 atguigu atguigu  4096 5月  22 2017 bin drwxrwxr-x. 3 atguigu atguigu  4096 1月  27 18:1...
NameNode与DataNode删除块逻辑分析
王小禾
07-22 2673
1.删除逻辑分析 1.删除文件NameNode入口 2.RedundancyMonitor监控线程 3.DataNode心跳及IBR 2.大量删除数据块的隐患及解决办法 1.背景 出现多次Unable to close file情况，具体如下。 Client： Caused by: java.io.IOException: Unable to close file because the last block does not have enough number of...
Hadoop之HDFS
华辰烟雨的博客
08-10 718
一、HDFS概述 1、定义 HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。 HDFS的使用场景：适合一次写入，多次读出的场景。一个文件经过创建、写入和关闭之后就不需要改变。 2、优缺点 （1）优点： 高容错性：数据自动保存多个副本，它通过增加副本的形式来提高容错性。在某一个副本丢失后，它可以自动恢复。 适合处理大数据：数据规模可达到G
Hadoop namenode重新格式化需注意问题
玄火的专栏
10-15 3万+
hadoop重新格式化意味着集群的数据会被全部删除，格式化前需考虑数据备份或转移问题。格式化前需要进行一些特别的文件删除操作，否则将导致格式化后hadoop无法正常启动。
多次格式化namenode出现的问题
weixin_42496757的博客
02-17 5666
  删除hadoop的tmp目录下的所有内容,重新格式化namenode，启动hadoop集群,发现只能启动其中一个namenode。 在未启动成功的节点下，使用 hadoop-daemon.sh start namenode 启动，发现还是启动不了.查看namenode的日志,显示namenode没有格式化，当时就懵了，我明明就格式化了呀，于是打算再来一次，这次我在配置的nn1和nn2的两个...
hadoop多次格式化namenode造成datanode无法启动问题解决
s243471087的博客
07-14 7306
今天在机器上新装了hadoop2.6.0想体验一把新版本特征，安装好后发现启动dfs时datanode老是启动不了 查看namenode日志发现以下问题： 按日志内容来看，namenode和datanode的clusterID不一致。突然想起来之前格式化了两次namenode，应该是由于namenode多次格式化造成了namenode和datanode的clusterID不一致！每次格式化时，n
hadoop 多次格式化format namenode 导致节点不能启动解决
qq_41059374的博客
06-14 2万+
1.  具体配置     我用的是vmware配的虚拟机，一个master，2个slave2. 遇到的问题hadoop 多次格式化format namenode 导致节点不能启动，出现这个问题的原因是多次格式化会导致节点的clusterID不一致3. 解决方法    我是参考的stackoverflow的方法，有一些不同           https://stackoverflow.com/qu...
hadoop格式化namenode失败
03-16
Hadoop格式化namenode失败可能有多种原因，以下是一些可能的原因和解决方法： 1. 硬盘空间不足：在格式化namenode之前，需要确保磁盘有足够的空间来存储Hadoop文件系统的元数据。如果磁盘空间不足，格式化namenode...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值