【hadoop遇到的相关问题】关于为什么拷贝上Availability只有一台服务器以及解决后又恢复三台拷贝的办法

还记得我在HDFS(二)中问了一个问题
在这里插入图片描述
然后,有大佬跟我解释说是103,104挂了,让我重新按照集群崩溃的处理方法,删掉data logs然后重新format,但是我不忍心将我打下的漫威宇宙给format掉,于是进行了如下操作
[leokadia@hadoop102 hadoop-3.1.3]$ myhadoop.sh stop
[leokadia@hadoop102 hadoop-3.1.3]$ xsync data
[leokadia@hadoop102 hadoop-3.1.3]$ xsync logs
[leokadia@hadoop102 hadoop-3.1.3]$ myhadoop.sh start
结果。。。
在这里插入图片描述
发现Availability的服务器变了,但还是只有一台,于是,我。。。最终还是决定,重新format。。。

在这里就带大家重新回顾下集群崩溃的处理方法:

正确的处理方法

(1)先回到目录

[leokadia@hadoop102 current]$ cd $HADOOP_HOME
在这里插入图片描述

(2)先杀死进程

[leokadia@hadoop102 hadoop-3.1.3]$ sbin/stop-dfs.sh
在这里插入图片描述

(3)删除每一个集群上的data和logs

[leokadia@hadoop102 hadoop-3.1.3]$ rm -rf data/ logs
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

(4)最后再进行格式化

[leokadia@hadoop102 hadoop-3.1.3]$ hdfs namenode -format
在这里插入图片描述

(5)初始化后再次启动集群

打扫干净屋子再启动
先停进程,再清历史数据,再格式化,最后启动

[leokadia@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh
进入网页,可以看见网页可以出现了,但数据都被清空了
在这里插入图片描述
查看jps有NameNode了!
在这里插入图片描述

回顾完了之后,我便一通操作:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
一通操作下来,好了!
在这里插入图片描述
在这里插入图片描述

  • 5
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
在搭建Hadoop服务器集群过程,可能会遇到一些常见问题。以下是一些可能出现的问题及相应的解决办法: 1. 网络连接问题:确保集群服务器能够相互通信,检查网络配置、防火墙设置等。可以通过ping命令检查服务器之间的连通性。 2. SSH连接问题:如果无法通过SSH进行免密登录,可以检查SSH配置、密钥文件等。确保每台服务器的SSH服务正常运行,并且公钥已正确配置。 3. Java环境问题:如果Hadoop无法找到Java环境,可以检查Java的安装路径和环境变量设置。确保每台服务器上都正确安装了适合的Java Development Kit (JDK)。 4. Hadoop配置问题:在编辑Hadoop的配置文件时,可能会出现错误的配置或格式不正确导致集群无法正常启动。建议仔细检查配置文件的语法和参数设置,可以参考官方文档或其他资源进行正确配置。 5. HDFS格式化问题:在格式化HDFS时,可能会遇到权限或文件系统错误导致格式化失败。确保有足够的权限执行格式化操作,并且没有其他进程占用HDFS相关目录。 6. 资源分配问题:如果集群的节点无法正常分配资源或任务无法运行,可以检查资源管理器(如YARN)的配置和日志,确保资源分配策略和配置正确。 7. 集群安全问题:如果需要启用Hadoop的安全功能(如Kerberos认证),可能会遇到配置和认证问题。在启用安全功能前,建议详细阅读相关文档,并按照指导进行正确配置。 8. 高可用性配置问题:如果需要实现Hadoop集群的高可用性,配置过程可能会较为复杂。建议仔细阅读相关文档,并按照指导进行正确配置,包括故障转移、备份节点等。 9. 日志和错误排查:在搭建过程,如果遇到问题,可以查看Hadoop的日志文件和错误信息,以便更好地定位问题。可以通过日志来分析异常、错误和警告信息,并尝试解决或定位问题。 以上是一些常见的问题解决办法,具体的问题解决方案可能会因环境和配置的不同而有所差异。在遇到问题时,可以参考官方文档、社区论坛或其他相关资源,进行更详细的排查和解决
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值