linux下的hadoop配置 sbin/start-all.sh datanode守护进程启动失败----解决方案

最新推荐文章于 2023-11-28 23:28:07 发布
最新推荐文章于 2023-11-28 23:28:07 发布
阅读量4.8k 收藏 5
点赞数 1
分类专栏： hadoop学习 文章标签： linux hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/halu_cool/article/details/60337062
版权
  1. 在shell下输入jps命令启动的守护进程中发现缺少datanode

  2. 进入关于datanode的log文件中查看warm信息
    这里写图片描述
    ls —表示的该目录下所有文件

  3. 选择关于datanode的log文件
    这里写图片描述

  4. 查看关于报错信息
    这里写图片描述
    2017-03-04 00:25:16,682 WARN org.apache.hadoop.hdfs.server.common.Storage: java.io.IOException: Incompatible clusterIDs in /home/1/hadoop/dfs/data: namenode clusterID = CID-865176a1-84b6-41bf-9abf-5bdf950cccb3; datanode clusterID = CID-3ec8c8b7-04c5-4f28-aad7-ccc91b3cb70b
    2017-03-04 00:25:16,683 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool (Datanode Uuid
    意思已经很明显了是两个id不相等，在网上查了一下，网上说的是格式化，问题依旧没解决，而且这个办法在实际生产中并不科学，下面看一种比较好的解决办法，去修改clusterID让他们的值相等就可以了。

  5. 然后只需要找到版本（version）文件即可，首先我们进入hdfs-site.xml
    这里写图片描述
    这里写图片描述

  6. 然后发现关于datanode守护进程的路径
    这里写图片描述
    然后将报错信息中clusterID替换version版本文件中的属性 保存

  7. 最后执行sbin/stop-all.sh命令停止所有进程，再执行sbin/start-all.sh启动所有进程
    这里写图片描述

    这里写图片描述

Datanode成功启动！（但是我又发现namenode没有启动，真的难受这里写图片描述）

参考资料http://blog.csdn.net/baidu_19473529/article/details/52813656

halu886
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【问题解决】Spark集群，通过master节点执行start-all.sh启动slave报错
nazhidao的专栏
04-17 6182
Spark集群，通过master节点执行start-all.sh启动slave报错：./sbin/start-all.sh所以最初我搭建完Spark集群后，一直是分别执行master和各slave的脚本来进行启动的：启动master：./sbin/start-master.sh -h 192.168.3.207 --host 192.168.3.207启动slave：/sbin/start-sla...
hadoop启动命令 start-all.sh失效解决办法
热门推荐
dianzishijian的专栏
07-30 3万+
很多人在配置好了hadoop集群后，输入启动命令 start-all.sh 时，报错：This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh   如下： hadoop@master:~/hadoop-2.6.4$ start-all.sh This script is Deprecated. Inste
hadoop配置遇到问题的解决
diaomu5377的博客
07-11 514
1. ssh localhost: 不能登陆：将错误提示中的文件全部删除。原因：登陆过远程主机 2. 问题： 伪分布式datanode启动不了：在datanode的log日志文件出现以下错误提示： ERROR org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Error getting localho...
linux start sh,linux: shell实例startall.sh
weixin_35876682的博客
05-13 262
#!/bin/bash -##########################################################################################startAll#初始化脚本，写入配置，拉起进程#version:2.1#dongfeng@baicells.com 20170425##############################...
【hadoop】hadoop启动后jps无法查看守护进程
ab842022884的博客
12-18 5305
按照各个教程配置完hadoop后，用如下指令启动守护进程： $ sudo sbin/start-all.sh 用echo $?确认指令执行过程无误，但jps指令就是看不到进程： $ jps 7542 Jps grep进程后确认守护进程实际上都已正常运行，琢磨是否jps存在权限问题。一通尝试之后，最简单地加上了sudo，即 $ sudo jps 6854 Seconda
hadoop插件apache-hadoop-3.1.0-winutils-master.zip
12-17
5. **启动Hadoop服务**：通过`sbin`目录下的脚本启动Hadoop的各个服务，如`start-dfs.sh`启动HDFS，`start-yarn.sh`启动YARN。 6. **Hadoop命令**：现在可以通过`hadoop fs`或`hadoop dfs`命令与HDFS交互，进行文件...
hadoop-2.7.4.tar.gz(linux版安装包)
最新发布
05-15
3. **配置Hadoop**：在`hadoop-2.7.4/etc/hadoop`目录下，有多个配置文件需要根据实际环境进行修改，包括`core-site.xml`（核心配置）、`hdfs-site.xml`（HDFS配置）、`mapred-site.xml`（MapReduce配置）和`yarn-...
hadoop-3.1.3.tar.gz
12-06
《Hadoop 3.1.3在CentOS7上的安装与配置详解》 Hadoop，一个由Apache基金会所开发的分布式系统基础架构，是大数据处理领域的重要工具。本文将详细阐述如何在CentOS7操作系统上安装和配置Hadoop 3.1.3版本，旨在帮助...
hadoop-2.9.1.tar.gz
07-18
本文将围绕Hadoop 2.9.1版本在Linux环境下的安装、配置及使用进行详细阐述。 一、Hadoop简介 Hadoop的核心组成部分包括HDFS（Hadoop Distributed File System）和MapReduce。HDFS为海量数据提供了高容错、高吞吐量...
hadoop2.6.0版本-hadoop-2.6.0.tar.gz
10-28
接着，可以启动Hadoop的各个服务，如DataNodes、NameNodes、ResourceManager和NodeManagers，通常通过`start-dfs.sh`和`start-yarn.sh`脚本进行。 集群运行后，可以使用Hadoop的命令行工具（如`hadoop fs`）进行...
VMware启动Hadoop执行命令start-all.sh报错找不到该命令
m0_67881620的博客
11-28 916
cd /home/hadoop/hadoop-2.7.6/sbin (这要根据个人sbin目录所在位置进行切换，不清楚位置的可以执行命令locate sbin来查找)本人使用VMware启动Hadoop执行命令start-all.sh时报错找不到该命令，后面发现是没有切换到Hadoop下的目录sbin,导致找不到命令。
Hadoop的启动和停止说明
aabb7654321的博客
04-13 3921
sbin/start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、ResourceManager、NodeManager sbin/stop-all.sh 停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、ResourceManager、Nod...
解决jps启动时没有Namenode守护进程的问题
杰哥的专栏
11-29 3072
原因是默认的 HADOOP_PID_DIR 存放在 /tmp 内 当重启电脑后，/tmp 就会被清除，导至问题发生， 先在 $HADOOP_HOME 文件夹内下新建一个 tmp文件夹 再在 core-site.xml 配置文件内增加一个属性值 hadoop.tmp.dir /home//hadoop-2.5.2/tmp 再重新格式化 bin/hdfs namenode -
spark-core_05: $SPARK_HOME/sbin/start-all.sh、start-master.sh脚本分析：
luyllyl的博客
03-16 1007
一、这是$SPARK_HOME/sbin/start-all.sh脚本#!/usr/bin/envbash # Start all spark daemons. 后台启动所有spark节点，将master在这个节点中启动，worker节点是通过conf/slaver来决定的#Starts the master on this node.#Starts a worker on each node s...
Hadoop 主机sbin/start-all.sh后jps主机有namenode，从机jps没有datanode
Cguoer的博客
03-30 2853
Hadoop 主机sbin/start-all.sh后jps主机有namenode，从机jps没有datanode
Linux启动服务之后jps命令失效
Junkman
12-05 1658
使用jps命令时出现以下错误： The program 'jps' can be found in the following packages: * openjdk-8-jdk-headless * openjdk-9-jdk-headless Try: sudo apt install <selected package> 解决方案： 在bashrc.文件中将你的JAVA_HOME/bin路径添加到PATH 具体操作： 执行nano ~/.bashrc 打开文件 在文件末尾加上exp
linux启动hdfs忘记密码,linux - Hadoop：输入“start-all.sh”后需要root密码 - 堆栈内存溢出...
weixin_36022526的博客
04-30 253
解：1)生成没有密码的ssh密钥$ ssh-keygen -t rsa -P ""2)将id_rsa.pub复制到授权密钥$ cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys3)启动ssh localhost$ ssh localhost4)现在转到hadoop sbin目录并启动hadoop$./start-all.sh...
linux启动hdfs忘记密码,linux – Hadoop：输入“start-all.sh”后需要root密码
weixin_29548281的博客
04-30 1119
解：1)生成没有密码的ssh密钥$ssh-keygen -t rsa -P ""2)将id_rsa.pub复制到授权密钥$ cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys3)启动ssh localhost$ssh localhost4)现在转到hadoop sbin目录并启动hadoop$./start-all.sh./s...
zsh: no such file or directory: sbin/start-all.sh
06-09
如果你在终端中执行`sbin/start-all.sh`命令时出现`zsh: no such file or directory: sbin/start-all.sh`的错误提示，可能是因为你的当前工作目录不在Hadoop安装目录下。 你可以通过以下步骤解决这个问题： 1. 确认Hadoop安装目录 首先，你需要确认Hadoop的安装目录。假设你将Hadoop安装在/usr/local/hadoop目录下，可以使用以下命令进入Hadoop安装目录： ``` cd /usr/local/hadoop ``` 2. 启动Hadoop 进入Hadoop安装目录后，执行以下命令启动Hadoop： ``` sbin/start-all.sh ``` 如果一切顺利，你应该可以看到输出类似于以下内容的信息： ``` starting namenode, logging to /usr/local/hadoop/logs/hadoop-<your-username>-namenode-<your-machine-name>.out localhost: starting datanode, logging to /usr/local/hadoop/logs/hadoop-<your-username>-datanode-<your-machine-name>.out localhost: starting secondarynamenode, logging to /usr/local/hadoop/logs/hadoop-<your-username>-secondarynamenode-<your-machine-name>.out starting resourcemanager, logging to /usr/local/hadoop/logs/yarn-<your-username>-resourcemanager-<your-machine-name>.out localhost: starting nodemanager, logging to /usr/local/hadoop/logs/yarn-<your-username>-nodemanager-<your-machine-name>.out ``` 这表示Hadoop已经成功启动了。 注意，如果你的Hadoop版本较新，可能需要使用以下命令启动Hadoop： ``` sbin/start-dfs.sh sbin/start-yarn.sh ``` 这会分别启动Hadoop的分布式文件系统和资源管理器。 总之，无论使用哪个命令，一定要确保你的当前工作目录在Hadoop安装目录下。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值