关于CentOS下的Hadoop节点启动失败问题解决

最新推荐文章于 2023-10-16 23:38:15 发布
最新推荐文章于 2023-10-16 23:38:15 发布
阅读量514 收藏 1
点赞数
分类专栏： 大数据 文章标签： hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kuaikuai_945/article/details/97920243
版权

在Hadoop主节点上启动hadoop，发现主节点和子节点的Hadoop都没有启动成功，master:8088网址也不能正常访问，解决方案

1、删除所有节点的/opt/hadoop/hdfs/data/下的所有文件

2、所有节点的/opt/hadoop/bin/目录下输入以下代码执行格式化命令

hdfs namenode -format

3、在hadoop主节点上/opt/hadoop/目录下执行以下命令即可启动成功

sbin/start-all.sh

 

kuaikuai_945
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
启动hadoop集群时主节点启动成功，从节点启动没有成功
weixin_46731375的博客
05-23 5610
启动hadoop集群时主节点启动成功，从节点启动没有成功 出错：跟着视频学习搭建hadoop时，以node01为主节点，node02，node03为从节点，在启动hadoop集群是，node01成功启动，但是node01,node02启动没有成功 解决办法： 1.以为是在修改配置文件hdfs-site.xml中设置了name,data的文件路径，在格式化NameNode和DataNode时，会在配置的路径下生成namenodeDatas和datanodedata文件，可能因为非正常关闭，导致文件和之前的不匹
linux节点启动不成功,Hadoop 启动节点Datanode失败解决
weixin_42117116的博客
05-15 1853
当我动态添加一个Hadoop从节点的之后，出现了一个问题：[root@hadoop current]#hadoop-daemon.sh start datanodestarting datanode, logging to /usr/local/hadoop1.1/libexec/../logs/hadoop-root-datanode-hadoop.out[root@hadoop~]#jps...
启动hadoop，datanode节点启动失败：Initialization failed for Block pool.......
最新发布
weixin_74606115的博客
10-16 690
总结来说如果不删除数据和日志的话，重新格式化namenode会产生新的集群ID，这样会和datanode的集群ID产生冲突，导致namenode启动失败。其次每次的namenode format都会重新创建一个namenodeId,而data目录下则包含了上次format时的id , namenode ，format。清空了namenode下的数据,但是没有清空datanode下的数据,导致启动时失败,所以要做的就是每次fotmat前,清空data下的所有目录（这是最保证的方法）
【大数据基础】启动hadoop服务时datanode节点启动失败
Best_T的博客
04-04 2084
【错误描述】 启动hadoop后，没有datanode节点 【原因分析】 多次格式化namenode造成namenode与datanode的不同 【解决方案】 1.stop-all.sh 停止hadoop 2.删除/export/data/hadoop/tmp下所有内容 （文件路径可能会不同） 3.hadoop namenode -format 重新格式化namenode节点 4.start-all.sh 重新启动hadoop ...
启动Hadoop集群时DataNode节点启动失败原因总结
weixin_42603182的博客
12-30 3129
背景 启动hadoop集群时，在NameNode与SecondaryNode成功启动的同时，DataNode启动失败，本文章将持续更新，总结DataNode节点启动可能的失败原因。 操作环境：CentOS8,hadoop-2.7.5 总结 1.问题：报错 No route to host 问题存在可能原因：DataNode所在主机未联网 解决方案：作者这里在node02,node03主机使用了ifconfig命令，发现两主机ens33没有启动（没有显示ip地址）。使用命令 sudo dhclient e
解决启动Hadoop集群，从节点没有启动（DataNode等）
m0_67401761的博客
04-12 2134
问题 在集群主机点启动HDFS集群和YARN集群之后，查看各个节点启动情况：主节点全部启动成功，从节点启动失败 [root@master-node ~]# jps 6432 Jps 5427 NameNode 5811 ResourceManager 5531 DataNode 5917 NodeManager [root@slave-node1 ~]# jps 2244 Jps [root@slave-node2 ~]# jps 1818 Jps 原因 查看从节点log日志，报了“域名解析错误”。
Hadoop启动失败
maple1149的博客
04-17 1304
晚上重启下hadoop，突然不能用了。
CentOS下Hadoop-0.20.2集群配置文档.docx
09-18
在每个节点的/home/hadoop/install目录下，存放着hadoop-0.20.2的安装文件。 为了实现Hadoop集群的正常运行，第一步是配置SSH无密码登录。SSH（Secure Shell）协议用于节点间的安全通信，NameNode需要能够无密码...
CentOS6.5x64下安装19实体节点Hadoop2.2.0集群配置指南
07-23
资源名称：CentOS 6.5 x64下安装19实体节点Hadoop 2.2.0集群配置指南内容简介： CentOS 6.5 x64下安装19实体节点Hadoop 2.2.0集群配置指南主要讲述的是CentOS 6.5 x64下安装19实体节点Hadoop 2.2.0集群配置指南;...
用CentOS搭建hadoop
qq_45879579的博客
01-11 5699
hadoop是一个开源的大数据框架；hadoop是一个的分布式计算的解决方案；hadoop=HDFS（分布式文件操作系统）+MapReduce（分布式计算）。其中HDFS分布式文件系统中存储是大数据技术的基础；MapReduce编程模型中分布式计算是大数据应用的解决方案。 1.确认安装的虚拟机可以上网，通过Ping百度来进行测试 2.安装 epel-release ...
centos安装配置hadoop超详细过程.docx
05-19
6. **启动Hadoop服务**：在Master节点上执行`start-dfs.sh`和`start-yarn.sh`命令启动Hadoop服务。 #### 六、验证Hadoop集群 完成上述步骤后，可以通过以下几个方法来验证Hadoop集群是否正确安装和配置： 1. **...
centos7解决hadoop2.6.4多次格式化导致的slave节点datanode无法启动的问题
goooooooooooose的博客
03-13 2142
多次格式化使namenode和datanode的clusterID不一致，emmm或许可以，帮助你找到需要修改的位置…… 在主节点： 首先进入hadoop安装位置 进入logs： cd ./logs 使用tail -f 查看日志 在这里可以看到由于clusterID不一致导致的报错，以及文件路径 进入这个位置：cd /data/hadoop/hdfs/data 进入current：cd ./current/ 查看VERSION ：cat VERSION 找到里面的clust...
hadoop集群节点启不来解决方案
jiedaodezhuti的博客
03-04 2198
查看VERION信息： master 的 namenode 信息： > cd /usr/local/src/hadoop-2.6.1/dfs/name/current > cat VERSION #Tue Aug 18 01:43:38 EDT 2020 namespaceID=1008709700 clusterID=CID-c3345186-922b-4010-bb38-cdc135bc1afe cTime=0 storageType=NAME_NODE blockpoolID=BP-26
大数据之hadoop启动失败问题集锦
Gavin
03-04 1891
启动时会提示形如 “DBLab-XMU: starting namenode, logging to /usr/local/hadoop/logs/hadoop-hadoop-namenode-DBLab-XMU.out”，其中 DBLab-XMU 对应你的机器名，但其实启动日志信息是记录在 /usr/local/hadoop/logs/hadoop-hadoop-namenode-DBLab-XMU.log 中，所以应该查看这个后缀为 .log 的文件；
【无标题】hadoop3.0集群第一次初始化失败
weixin_43588364的博客
01-08 1637
hadoop集群初始化时失败,异常情况,在namenode节点执行格式化命令之后: hdfs namenode -format,在控制台日志的最开始的地方报异常情况: 在tmp下创建文件失败,导致hadoop-username-datanode.pid 和hadoop-username-namenode.pid创建失败,权限问题 [lgf@linux1 tmp]$ sudo chmod 777 -R /tmp ...
CentOS 7.2 64位 安装hadoop之后无法正常启动hdfs问题
LRachelChao的博客
02-02 1103
分别在两台linux系统上安装hadoop时，./start-dfs.sh启动hdfs时均出现报错 19/02/02 22:24:14 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable ...
hadoop在centos7上搭建过程中遇到的问题总结
猴戏浅滩的博客
11-22 387
hadoop在centos7上搭建历程，分析解决遇到的问题，最终走向成功。不着急可以读完，可以跳过我走的坑，还能对你遇到的问题有所启发。如发现有问题，请指正，大家相互学习。 自己根据视频第一次搭建hadoop 2.2.0时，先安装配置好对应环境变量，然后执行脚本start-all.sh启动或者单独执行start-dfs.sh和start-yarn.sh，jps查看进程，一开始出现少了data...
CentOS8 安装 hadoop3.2.1 完全分布式集群
05-20 3466
下载地址： https://hadoop.apache.org/releases.html 上传并解压 文档地址： https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/ClusterSetup.html 一、准备工作 1.设置机器名及对应IP，CentOS8 修改主机名，配置对应IP 2.安装配置jdk8+，CentOS8 安装JDK8 jdk-8u192-linux-x64.tar.gz 3..
CentOS下Hadoop集群第一课：安装与配置详解
本文档是关于Hadoop集群的第一期教程，专注于在CentOS操作系统上进行安装和配置。CentOS是一个基于Red Hat Enterprise Linux (RHEL) 的免费开源企业级Linux发行版，它提供了与RHEL高度兼容的软件环境，但不包含封闭...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值