hdfs 多次格式化报错

最新推荐文章于 2022-10-24 20:52:11 发布
最新推荐文章于 2022-10-24 20:52:11 发布
阅读量1.1k 收藏 1
点赞数 1
分类专栏： bug 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45389022/article/details/105836879
版权
在尝试格式化HDFS时遇到了QuorumException，错误显示为无法连接到JNs进行格式化，具体表现为Call From... failed on connection exception: java.net.ConnectException: Connection refused。错误发生可能是因为JournalNode未启动。解决办法是在格式化前先启动JournalNode。
摘要由CSDN通过智能技术生成

报错

20/04/29 19:46:32 WARN namenode.NameNode: Encountered exception during
format: org.apache.hadoop.hdfs.qjournal.client.QuorumException:
Unable to check if JNs are ready for formatting. 1 exceptions thrown:
192.168.100.21:8485: Call From hadoop101/192.168.100.21 to hadoop101:8485 failed on connection exception:
java.net.ConnectException: Connection refused; For more details see:
http://wiki.apache.org/hadoop/ConnectionRefused at
org.apache.hadoop.hdfs.qjournal.client.QuorumException.create(QuorumException.java:81)
at
org.apache.hadoop.hdfs.qjournal.client.QuorumCall.rethrowException(QuorumCall.java:223)
at
org.apache.hadoop.hdfs.qjournal.client.QuorumJournalManager.hasSomeData(QuorumJournalManager.java:232)
at
org.apache.hadoop.hdfs.server.common.Storage.confirmFormat(Storage.java:900)
at
org.apache.hadoop.hdfs.server.namenode.FSImage.confirmFormat(FSImage.java:171)
at

最低0.47元/天 解锁文章
Abigala
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
高可用hadoop集群namenode格式化启动异常
qq_44982182的博客
08-04 613
etry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS) 19/08/04 10:37:22 WARN namenode.NameNode: Encountered exception during format: org.apache.hadoop.hdfs.qjo...
hadoop重新格式化HDFS步骤解析
09-30
主要介绍了hadoop重新格式化HDFS步骤解析，由于此方法需要将HDFS中数据全部清除，用者需注意。
多次进行hdfs namenode -format命令时，启动DataNode自动死亡的原因
qq_15508167的博客
02-05 2360
1.安装环境，三个节点，在配置的时候不小心忘记配置slaves节点，导致，进行2次 namenode -format 2.进行start-dfs.sh命令时，发现主节点可以启动，但是其他两个从节点，启动以后，立刻死亡，yarn是可以正常启动的，所以定位，问题应该是出在hdfs的格式化问题上 3.原因是我们每次格式化的时候，会产生这个文件夹/tmp/hadoop-hadoop/ 4.我们可以将
大数据异常问题集锦
weixin_43813200的博客
10-31 1049
未知错误1 org.apache.hadoop.hdfs.qjournal.client.QuorumException: Could not format one or more JournalNodes. 1 exceptions thrown: 192.168.141.104:8485: Directory /var/bdsp/hadoop/ha/qjm/bdsp is in an inconsistent state: Can't format the storage directory becau
hadoop namenode格式化错误以及启动不了解决方案
weixin_45942827的博客
10-24 6900
hadoop namenode格式化错误以及启动不了解决方案
namenode格式化报错
sunqingok的博客
12-16 2805
搭建hadoop集群时，namenode格式化报错如下： WARN namenode.NameNode: Encountered exception during format: org.apache.hadoop.hdfs.qjournal.client.QuorumException: Unable to check if JNs are ready for formatting. 1 exc...
hadoop格式化HDFS出现错误解决办法
01-10
hadoop格式化HDFS出现错误解决办法 报错信息： host:java.net.UnknownHostException: centos-wang: centos-wang: unknown error 在执行hadoop namenode -format命令时，出现未知的主机名。  问题原因：  出现...
hdfs开启高可用+hive报错
最新发布
02-29
HDFS HA机制主要通过两个或多个NameNode实例来实现。这两个NameNode分别被称为Active NameNode和Standby NameNode。Active NameNode负责处理客户端的所有读写请求，而Standby NameNode则保持数据同步，并随时准备...
格式化namenode时报连接错误
ASN_forever的博客
09-06 6026
************************************************************/ 18/09/05 21:18:00 INFO namenode.NameNode: registered UNIX signal handlers for [TERM, HUP, INT] 18/09/05 21:18:00 INFO namenode.NameNode: c...
安装hadoop1.2.1集群环境
weixin_30532759的博客
08-29 141
一、规划 （一）硬件资源 10.171.29.191 master 10.173.54.84 slave1 10.171.114.223 slave2 （二）基本资料 用户： jediael 目录：/opt/jediael/ 二、环境配置 （一）统一用户名密码，并为jediael赋予执行所有命令的权限 #passwd # useradd jedi...
hadoop初始化namenode失败，报错：org.apache.hadoop.hdfs.qjournal.client.Quorumexception
qq_41277195的博客
03-31 1万+
hadoop初始化namenode失败，报错：org.apache.hadoop.hdfs.qjournal.client.Quorumexception
namenode无法启动，格式化失败
hsx15777894525的博客
08-24 1万+
namenode无法启动，格式化失败 格式化提示 hdfs namenode -format 20/08/24 22:43:44 INFO namenode.NameNode: STARTUP_MSG: /************************************************************ STARTUP_MSG: Starting NameNode STARTUP_MSG: host = Master/192.168.196.128 STARTUP_MSG:
格式化 NameNode 提示 SHUTDOWN_MSG: Shutting down NameNode at xxx/xxx.xxx.xxx.xxx
热门推荐
码农UP2U
10-27 1万+
在使用 hadoop namenode -format 格式化 NameNode 时，提示如下错误： SHUTDOWN_MSG: Shutting down NameNode at xxx/xxx.xxx.xxx.xxx 网上提示，需要让 hostname 和 /etc/hosts 下的 主机名 与 ip 地址对应，即 xxx 和 xxx.xxx.xxx.xxx 进行对应。在我本地两者是对应的，后来发现，在输出中有这么一句提示信息，如下图。 只要是提示 succ...
安装伪分布的Hadoop时SHUTDOWN_MSG: Shutting down NameNode at master及Hadoop namenode节点无法启动的问题解决
zhaozuoyou的博客
11-18 1万+
系统提示 且namenode一直无法启动 如果是这种情况就去看虚拟机的hostname的名称 是否和 虚拟机的vi /etc/hosts中的ip是否配的一致，如果没有的话，就修改下名称或者ip 然后重启网络 namenode的配置文件重新hdfs namenode -format即可 ...
org.apache.hadoop.hdfs.qjournal.client.QuorumException: Unable to check if JNs are ready for formatt
似水流年
12-28 4168
由于JNS没有被启动 解决方案：   I、    先启动 journalnode：sbin/hadoop-daemon.sh start journalnode 此时要注意，所有的Journalnode 都要启动否则下面步骤报错     II、   给namenode安装journalnode共享目录bin/hdfs namenode -initializeSharedEdits 、
hadoop单节点转HA搭建过程中出现的问题总结篇(二)
shursulei的博客
04-16 451
一、namenode的格式化报错 bin/hadoop namenode -format 时候出现以下错误 org.apache.hadoop.hdfs.qjournal.client.QuorumException: Unable to check if JNs are ready for formatting. n $$ 15/12/04 04:52:50 WARN namenode.Na...
namenode无法启动（namenode格式化失败）
weixin_33913377的博客
11-14 570
格式化namenode root@node04 bin]# sudo -u hdfs hdfs namenode –format 16/11/14 10:56:51 INFO namenode.NameNode: STARTUP_MSG: /************************************************************ STARTUP_MSG...
Hadoop常见错误
清纯玉面可爱小郎君
06-20 1138
一：没有dataNode（Live Nodes的数量为0）或者两个nameNode都处于 standby状态？ 可能的解决方案： 趟过的坑：clusterID不一致，集群的nameNode和dataNode必须保持一致！ 如何使用bin/hadoop  namenode  -format格式化两次就会出现上面的bug 解决办法： 第一种：拷贝/home/hadoop/data(nam
hadoop 常见错误
weixin_34148340的博客
03-04 379
2019独角兽企业重金招聘Python工程师标准>>> ...
hadoop多次格式化
09-06
Hadoop多次格式化是指在分布式文件系统HDFS中多次执行格式化操作。格式化操作会删除HDFS中的所有数据和元数据，并重新创建文件系统的目录结构。 多次格式化HDFS可能会导致一些潜在的问题和风险，包括： 1. 数据丢失：每次格式化都会删除HDFS中的所有数据和元数据，因此多次格式化会导致数据的完全丢失。 2. 性能影响：格式化操作会导致整个HDFS集群处于不可用状态，并且需要重新建立文件系统的目录结构。频繁的格式化会导致系统长时间不可用，影响正常的数据读写和计算任务。 3. 元数据恢复困难：如果没有备份HDFS的元数据信息，多次格式化可能会导致元数据的永久丢失。在这种情况下，恢复文件系统和数据可能会非常困难甚至不可能。 为了避免Hadoop多次格式化的问题，建议在进行格式化操作前进行充分的备份并确保这是你真正想要做的操作。此外，可以考虑使用Hadoop高可用性解决方案，如使用多个NameNode实例和元数据备份策略等来保护HDFS的数据和元数据。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值