Hadoop HA——node02没有namenode但是没报错（hadoop运行日志的查看方法）

最新推荐文章于 2023-10-01 14:20:21 发布
最新推荐文章于 2023-10-01 14:20:21 发布
阅读量1.4k 收藏 7
点赞数 4
文章标签： java hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bb123116/article/details/110441896
版权

查看运行日志：

到hadoop安装目录下的log文件下
在这里插入图片描述
ll查看所有文件，用cat+文件名查看该文件
因为是namenode无法出现，所有查看关于namenode的log文件
如果是别的问题就查看对应的文件
在这里插入图片描述

发现error说没有name文件

在这里插入图片描述

到对应目录下创建name文件
在这里插入图片描述
node-02克隆机下重新启动namenode
在这里插入图片描述

启动后node-02 jps namenode出现一下就消失了

继续查看日志
java.io.IOExeption:NameNode is not formatted
在这里插入图片描述
node-02没有格式化
格式化 node-02
在这里插入图片描述
启动node-02 namenode成功
在这里插入图片描述

小薄冲冲冲
关注
  • 4
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
解决Hadoop集群丢失Namenode或Datanode问题
liu_xia_zhou的博客
07-04 3899
首先，最开始的问题是我无法在网页查看50070端口，所以我格式化了一下namenode，./hdfs namenode -format并尝试重启hdfs。 发现此时已解决，无50070端口问题，也可在网页查看集群信息，但是竟然datanode消失了 在sbin目录下，我又重新关闭+启动了一波集群 ./start-all.sh发现此时可以解决仍然无效 查阅资料，发现可能是因为不小心多格式化了几次namenode导致，主从机之间clusterID不一致，因此jps不显示datanode的问题。所以我们寻找
Hadoop HA——namenode无法启动问题解决
热门推荐
yhao2014的专栏
09-03 1万+
 今天按照之前《Hadoop2.6.0 + zookeeper集群环境搭建 》一文重新搭建了Hadoop2.7.2+zookeeper的HA，实现namenode挂掉后可以自动切换，总体来说还算比较顺利。搭建完成后一切正常！但是！第二天重新启动集群的时候出现问题：两个namenode有一个始终启动不了！，具体问题描述如下： 问题描述 HA按照规划配置好，启动后，NameNod
hadoop启动集群之后没有namenode的一种情况
m0_59787487的博客
05-24 6965
先说结论吧，一般在网上搜索这个问题都是让重新格式化namenode(当然，格式化之前要记得清空namenode和DataNode文件夹)。但是对于我之前遇到的问题却没法解决。我的做法是：检查你的hadoop的配置文件是否填写正确，我的hadoop的hdfs-site.xml中的主机IP地址未填写正确，导致启动集群服务后namenode启动不上，hdfs当然也没法用。 我的虚拟机会产生这个问题主要是虚拟机的IP地址发生了改变，在这里我简单记录一下发生这种问题怎么处理，也方便我日后参阅。 1.首先.
Hadoop 重新格式化NameNode
XIATWO
11-12 1万+
目录 一、重新格式化 NameNode 1、删除hadoop 三台节点配置路径下的残留文件 （1）core-site.xml 删除/usr/local/src/hadoop/tmp目录 （2）hdfs-site.xml 删除/usr/local/src/hadoop/dfs/name目录 （3）hdfs-site.xml 2、手动创建配置文件 4、启动集群后重新格式化 NN 第一次格式化失败后，需要删除格式化失败...
Hadoop启动后没有namenode进程的解决办法
sis12e的博客
04-09 7684
【代码】Hadoop启动后没有namenode进程的解决办法。
解决hadoop启动后没有namenode节点问题（三）
web13985085406的博客
03-30 6373
前景回顾：上一篇文章中我们安装配置完hadoop后启动发现没有namenode节点，而且无法访问对应网站，该篇中将解决上篇的问题 针对前篇没有namenode节点解决方案： 先关闭hadoop：sbin/./stop-all.sh 删除文件夹 （hadoop2.7.3/下）的tmp/文件夹里边所有的东西 删除日志 ： 删除 logs文件夹下所有的东西： rm -rf logs/ mkdir logs 重新格式化：bin/hadoop namenode -format 格式化完成启动had
Hadoop格式化NameNode遇到的坑
weixin_55285982的博客
04-18 3484
1、在core-site.xml文件中指定 hadoop 数据的存储目录是——路径莫名其妙不对，可能是复制粘贴是哪里错了 <!-- 指定 hadoop 数据的存储目录 --> <property> <name>hadoop.tmp.dir</name> //路径一定要设置对，最好去先pwd，然后复制粘贴 <value>/opt/module/hadoop-3.1.3/data</value> </property>
Hadoop-2.0-NameNode-HA和Federation实践1
08-08
在Hadoop 2.0中，NameNode的High Availability（HA）和Federation是为了解决传统Hadoop架构中的两个关键问题：单点故障和集群扩展性。在Hadoop 2.0之前，NameNode作为HDFS的核心组件，它的单点故障可能导致整个...
Hadoop HA集群启动.docx
08-23
在Hadoop生态系统中，高可用性（High Availability, HA）是确保系统持续稳定运行的关键特性。HA集群的设计目标是消除单点故障，确保7*24小时的服务不间断。Hadoop HA主要关注两个核心组件的高可用性：HDFS（Hadoop...
Hadoop-ha集群搭建
10-09
HadoopHA集群搭建描述及指令，里面有各种注意事项。 集群部署节点角色的规划（3节点） ------------------ server01 namenode resourcemanager zkfc nodemanager datanode zookeeper journal node server02 ...
格式化namenode时报错No Route to Host from node1/192.168.3.101 to hadoop05:8485 failed on socket timeout ex
01-07
格式化namenode时 报错 No Route to Host from node1/192.168.3.101 to hadoop05:8485 failed on socket timeout exception: java.net.NoRouteToHostException: No route to host解决方案 一、报错信息概要: 在配置...
hadoop ha 配置
08-14
- 关键配置在`hdfs-site.xml`中，如`dfs.nameservices`定义NameService ID，`dfs.ha.namenodes.<nameservice-id>`列出NN节点，`dfs.namenode.shared.edits.dir`设置共享编辑日志目录，`dfs.namenode.rpc-address`和...
hadoop启动后没有namenode
linjixia的博客
03-25 1万+
参考教程： 教程1 （我按照教程1成功了。） 教程2 教程3 前提： 使用命令： cd $HADOOP_HOME ./sbin/start-dfs.sh jps 后发现没有namenode： 解决： 关闭进程： stop-dfs.sh 格式化： hadoop namenode -format 再次打开： start-dfs.sh 再次验证： jps ...
Hadoop中namenode出现故障的解决方法
fa124607857的博客
01-18 3675
Hadoop中Namenode单点故障的解决方案 需求： 实现namenode元数据的备份，解决namenode单点宕机导致集群不可用的问题。 方案描述： 当namenode所在服务器宕机的时候，我们可以利用namenode备份的元数据迅速重构新的namenode来投入使用。 1.Hadoop本身提供了可利用secondarynamenode的备份数据来恢复namenode的元数据的...
hadoop启动缺少NameNode， 缺少ResourceManager, 缺少NodeManager...
世幻水的博客
10-02 1万+
描述：在hadoop 运行start-all.sh，发现缺少了NameNode， 缺少ResourceManager, 缺少NodeManager…等等的服务。这类问题有统一的解决方案。即查阅hadoop日志。 目录 1.hadoop日志 2.1 没有NameNode(选读) 2.2 没有ResourceManager和NodeManager(选读) 2.3 没有ResourceManage(选读) 3. 总结 1.hadoop日志 hadoop日志位于 hadoop 安装目录下的logs里，包含
Hadoop集群启动后，缺少namenode或datanode进程
最新发布
y215204的博客
10-01 8158
简述：NameNode 是 HDFS 的主节点，是负责管理整个 HDFS 集群的，相当于一个团队的老大,若没有启动，则不会进入web界面等。
Hadoop集群搭建（六）：hadoop配置namenode服务
qq_34377273的博客
11-20 9915
  六：配置时间同步： 找到虚拟机设置：点击选项--&gt;找到VMware Tools，打开时间同步即可：     注：如果你是创建一台虚拟机，其他几台都是这台克隆过去的，就可以不用配置时间同步也可以进行。       七：配置文件   1,进入hadoop配置文件目录： 命令：       2,更改配置文件core-site.xml ：   命令： ...
无法启动python原因_hadoop中namenode无法启动的原因有哪些
weixin_39686230的博客
11-26 392
当你在学习和使用hadoop时，也许会遇到这样的一个问题，运行bin/start-all.sh时发现namenode没有启动，可以通过以下方法进行排查解决：翻看日志，寻找错误提示，并进行内容的改进，最后进行重启原因一：权限问题#查看日志cd /usr/local/hadoop/logs#发现权限问题，更改文件权限chown -R hadoop:hadoop /usr/local/hadoop/hd...
Hadoop集群启动但是没有datanode/namenode的情况
学习笔记
11-26 7954
Hadoop集群我们是用三台笔记本电脑装了Ubuntu虚拟机然后进行集群的搭建。但是后来启动集群，一开始是主节点没启动起来，因为配置文件看走眼，配错了，然后又重新初始化了一次，然后可能因为重复初始化，导致datanode又没了，然后一直在尝试，一直在搜CSDN到底什么原因。目前根据搜索到的以及老师说的总结起来有三点：1.配置文件出错了2.ssh免密没做好3.重复初始化这三个问题应该在之前不断循环往复的出现…直到这周终于把集群启动起来并且能够正常工作了。
Hadoop HA(QJM)高可用集群配置详解
Hadoop HA架构包括两个NameNodes，一个运行在Active模式，另一个在Standby模式。Active NameNode负责处理所有数据操作，而Standby NameNode则定期检查Active的更新，并通过QJM同步状态。为了实现状态同步，Active和...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值