虚拟机hadoop集群启动时DataNode进程缺失

最新推荐文章于 2024-09-05 14:03:45 发布
最新推荐文章于 2024-09-05 14:03:45 发布
阅读量2.8k 收藏 7
点赞数 4
文章标签： hadoop linux 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Magicalapologize/article/details/103748555
版权
在Linux环境中启动Hadoop集群时发现DataNode进程缺失。问题源于重复的格式化操作导致文件序列号不一致。解决方法是删除虚拟机安装目录下的特定文件夹，并重新进行格式化操作，具体步骤包括定位并删除相关文件、执行格式化命令，最终成功启动DataNode。
摘要由CSDN通过智能技术生成

虚拟机hadoop集群启动时DataNode进程缺失

1.出现问题: 在Linux命令窗口中输入Jps查询hadoop启动项目时缺少DataNode进程;

缺少DataNode进程

2.问题原因:使用格式化命令之后又再次进行格式化,导致namenodeDatas文件序列号不一致使之启动失败

namenodeDatas文件序列号不一致

3.解决方案: 删除三台虚拟机hadoop2.7.5安装目录下/export/install/hadoop-2.7.5/hadoopDatas中 的datanodeDatas ,datanodeDatas2,tempDatas文件夹

在这里插入图片描述

不同的集群目录不同,详情见hadoop配置环境目录例如我是:/e
最低0.47元/天 解锁文章
Magicalapologize
关注
hadoop启动中缺少datanode
香蕉的博客
05-17 1335
// 启动 journalnode（在所有 datanode 上执行，也就是 cluster1, cluster2, cluster3） $ hadoop-daemon.sh start journalnode 启动后使用 jps 命令可以看到 JournalNode 进程 // 格式化 HDFS（在 cluster1 上执行） $ hdfs namenode -format // 格式化完毕后可关闭 journalnode（在所有 datanode 上执行） $ hadoop-daemon.sh
当hadoop集群安装完毕后，发现没有DataNode进程
m0_65346688的博客
09-20 2850
那么，为什么会出现这个问题呐？在这个目录下输入ls，然后进入到data，再输入ls，进入到data，输入ls，进入到dfs中（有的进入data中后，是tmp，那就输入ls，进入到dfs中），输入ls，进入到data，输入ls，进入到current中，输入ls，发现了VISION,然后就可以vi VERSION了。查看这两个的clusterID是否一致，如果不一致，那我们就讲他们改为一样的就好了，修改后，保存退出（因为我的已经改好过了，所以一致），再重新启动一下集群，输入jps，发现就有DataNode。
Hadoop运行jps没有datanode节点【已解决】
最新发布
@KUNKU的博客
09-05 1834
格式化NameNode后，如果DataNode的clusterID与新的NameNode的clusterID不匹配，DataNode将无法加入集群，导致HDFS无法正常提供服务。
hadoop的jps进程缺少datanode
m0_62363743的博客
11-02 2352
项目场景： 提示：这里简述项目相关背景： CentOS7 提前安装过Hadoop和hbase，第一次启动成功，第二次启动没有DataNode进程 原因分析： 在启动Hadoop时候进行多次格式化或者第一次启动的时候已经生成了DataNode 解决方案： 先关闭Hadoop和hbase //进入hadoop所在目录 sbin/stop-dfs.sh //进入hbase的所在目录 bin/stop-hbase.sh 找到DataNode的文件目录，删除data rm -...
Hadoop问题：DataNode进程不见了
weixin_34297704的博客
05-20 1404
2019独角兽企业重金招聘Python工程师标准>>> ...
Hadoop运行jps后没有datanode进程
m0_55070913的博客
03-25 3204
我总共有3个hadoop集群，hadoop102，hadoop103，hadoop104，其中hdfs从hadoop102启动。 集群规划如下： jps没有datenode： 1、停止所有jps服务（以下命令在hadoop2这台服务器上执行）。 $jps #如果只有Jps进程，则无需执行下面的代码，否则执行。 $cd /opt/module/hadoop-2.7.2/ $sbin/stop-all.sh 2、删除VERSION（以下命令在三台服务器上都执行）。 VERSION的目录所在如下所示，首先进入
hadoop启动后jps没有datanode
m0_56731259的博客
03-12 8893
Hadoop 启动后使用JPS查看没有DataNode 在伪分布式运行hadoop，发现DataNode没有启动： 一般由于多次格式化NameNode导致。在配置文件中保存的是第一次格式化时保存的namenode的ID，因此就会造成datanode与namenode之间的id不一致。 发现错误之后在hadoop所在位置中找到logs路径： 找到datanode日志文件打开。 找到错误的地方 复制namenode clusterID。 找到配置文件core-site.xml 找到data目录
Hadoop-HDFS详解与HA，完全分布式集群搭建(细到令人发指的教程)
wudidahuanggua的博客
09-17 3374
对HDFS细致到腋毛的讲解，包括HA，完全分布式集群搭建，以及让你打瞌睡的理论知识！
Linux系统centos7从无到有搭建虚拟机集群-易看易学，简洁明了。
bff779357914的博客
12-13 497
Linux-centos7虚拟机集群搭建 ==================================================== ψ(ー)ψ文末有彩蛋——各位长得好看的客官一定get到！！！ ==================================================== 操作过程常用命令： 查看hadoop编译工具是否成功安装： java -version mvn -version ant -version cmake --version protoc --ver
关于初学Hadoop的一些简单的问题
mryaohang的博客
12-03 383
1、读与写数据流程 写数据流程： 1）客户端发出请求上传文件 2） namenode查看维护的目录结构，检查目录是否存在，如果不存在 直接报错“no such file or directory”，如果存在，返回给客户端同意上传文 件请求。将操作写入日志文件（edits） 3） 客户端上传第一个块，询问namenode块的存储位置 4） namenode查看自己的datanode池，返回给客户...
Hadoop生态圈 大数据文档
BigData_XiaoBai的博客
12-01 828
文档基于介绍基于Hadoop的大数据生态圈。介绍下图每一个组件的使用场景及使用方法，同时还对每一个组件有更深入的介绍。 ..
启动Hadoop，没有DataNode节点
qq_45736175的博客
06-28 5900
1.其他节点，如namenode都成功启动了，就是DataNode没有启动 原因是NameNode和DataNode的ID不一致导致的，因为我有一个坏习惯，就是每次关闭虚拟机时，都没有使用./sbin/stop-all.sh关闭Hadoop，而是直接关闭虚拟机了。 2.解决方法，找到name/current/目录下的VERSION文件，复制其clusterID 然后粘贴到data/current/VERSION文件中的clusterID 另一种知道NameNode的cluster..
hadoop启动后，没有datanode怎么办
qq_34268459的博客
06-21 6837
根据日志中的路径，cd /home/hadoop/tmp/dfs，能看到 data和name两个文件夹。方法一：删除DataNode的所有资料及将集群中每个datanode节点的/dfs/data/current中的VERSION删除，然后重新执行hadoop namenode -format进行格式化，重启集群，错误消失。方法二： 将name/current下的VERSION中的clusterI...
Hadoop集群启动时没有Datanode
evangelion_Asuka的博客
10-12 2873
在启动集群后，使用jsp命令验证集群是否配置成功时，发现Datanode没有被启动，第一反应是关闭后使用。回到dfs文件夹，进入到data文件夹中的current文件夹，使用cat查看VERSION文件。我们应将DataNode的clusterID改成NameNode的clusterID。start-all.sh命令再次启动，依旧没有，于是检查配置文件依旧没发现问题。先进入name文件夹，然后使用cat查看VERSION文件。将这里面的也复制下来与name文件夹中的对比。将两个ID进行对比发现确实不一样。
Hadoop伪分布式环境datanode进程没有
疯子的博客
10-25 2524
摘要 jps查看当前进程，发现缺少了DateNode进程 这个一般是因为namenode进行了多次的格式化，导致namenode的clusterID和datanode的clusterID不同。 解决办法 让这两个一样呗 步骤 1.进入etc/hadoop目录下打开core-site.xml,查看你的文件所在的目录 2.关闭当前的hadoop； $HADOOP_HOME/sbin/stop-al...
hadoop——缺少DataNode的解决办法
m0_67391120的博客
04-18 3204
网上已经有许多答案来说明为什么缺少DataNode了，（主要是我只知道个大概，不能误人子弟啊） 恕我在此直接上解决方法了。 note： 由于在启动hadoop之前，多次格式化，导致DataNode的ID改变， 由此把DataNode的ID改成和NameNode相同的ID。 （1）在hadoop文件下，找到data文件夹和dfs文件夹： （2）进入dfs→name→current，复制VERSION里的ID： （3）进入data→current，打开VERSION文件，然后将上面name的ID复制到这里
解决hadoop启动后没有datanode
Alice_xiaochen的博客
03-03 1995
出现上述问题可能是格式化两次hadoop，导致没有datanode 解决办法是：在所有datanode节点上找到/root/hadoop/data里面的current文件夹删除 然后从新执行一下 hadoop namenode -format 再使用start-dfs.sh和start-yarn.sh 重启一下hadoop 用jps命令看一下就可以看见datanode已经启动了 ...
hadoop集群启动没有datanode
05-13
如果你的Hadoop集群启动时没有DataNode，则可能有以下几个原因： 1. DataNode守护进程没有启动 - 请检查DataNode守护进程是否已启动。可以通过在DataNode主机上运行以下命令来检查DataNode守护进程是否正在运行： ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值