关于配置伪分布hadoop无法启动datanode的解决

最新推荐文章于 2022-08-10 22:40:39 发布
最新推荐文章于 2022-08-10 22:40:39 发布
阅读量2.6k 收藏 1
点赞数 1
分类专栏： 异常解决 文章标签： hadoop namenode
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/renyibb/article/details/17251697
版权

首先我看查看datanode的启动日志$HADOOP_HOME/logs/              vi logs/hadoop-root-datanode-master.out查看datanode的启动日志

ava.io.IOException: Incompatible clusterIDs in /opt/data/hadoop/hdfs/data: namenode clusterID = CID-989a3fff-d9e2-43a3-898d-4daea91937a1; datanode clusterID = CID-f476c8db-19f3-41ce-9c20-fc394138ec3c

然后我们到vi /opt/data/hadoop/hdfs/name/current/VERSION

vi /opt/data/hadoop/hdfs/data/current/VERSION


这里的路径是我在hdfs.xml配置文件fs.data.dir中的配置路径，你的可能和我不一样，，分析了一下原因不难发现是我们在多次namenode -format的时候导致data/VERSION中的namespaceID和clusterID不一致，问题找到就好办了，和我手动配置一致，然后启动sbin/start-all.sh我们会发现想要的datanode启动了，小小的兴奋

10952 Jps
8084 NameNode
8558 NodeManager
8326 SecondaryNameNode
9948 DataNode
8463 ResourceManager

RenYiChan
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop1.2中配置伪分布式的实例
09-04
在本文中，我们将深入探讨如何在Hadoop 1.2.1版本中配置伪分布式环境，特别是在Linux Mint 15 64位操作系统上。伪分布式模式是Hadoop的一种配置方式，它允许在一个单节点上模拟分布式环境，这对于学习和测试Hadoop...
Hadoop伪分布式搭建配置文件
11-18
1. 启动DataNode：`hadoop datanode` 2. 启动NameNode：`hadoop namenode` 3. 启动YARN的ResourceManager：`yarn resourcemanager` 4. 启动YARN的NodeManager：`yarn nodemanager` 5. 启动Hadoop的Web界面：`start-...
hadoop安装后DataNode无法启动
weixin_43825047的博客
01-04 502
原因: 　　其中一个原因是由于多次格式化数据目录而导致NameNode中的clusterID和DadaNode中的clusterID不一致 　　 当我们执行文件系统格式化时，会在namenode数据文件夹（即配置文件中dfs.name.dir在本地系统的路径）中保存一个current/VERSION文件，记录namespaceID，标识了所格式化的 namenode的版本。 　　如果我们频繁的格式...
hadoop伪分布式下 无法启动datanode的原因
zhang010206的专栏
03-04 712
环境： centos 6.5 伪分布是hadoop 2.5.2 64位 jdk1.7 问题原因 之前安装的是hadoop 2.5.2 32位的，后面换成hadoop 2.5.2 64位，然后重新hadoop namenode format一下，再start-all.sh的时候datanode启动不起来。 （因为在多次format中  有 reformat
Hadoop中的datanode没有启动
bxfsoftware的专栏
04-12 1010
这是异常 at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:812) at java.lang.Thread.run(Thread.java:724) 2017-04-12 00:32:16,913 WARN org.apache.hadoop.hdfs.server.datano
关于hadoop中datanode没启动的系列问题
leave_the_message的博客
03-29 953
最近学习了Hadoop的使用，而在运用HBase的之前，是要将Hadoop启动的，正常来说，我们都启动之后输入jps，会出现8行 但是最开始经过配置之后，我的虚拟机是不显示datanode的，通过查看log，是datanode根本没有启动，所以这个时候首先应该看的就是hadoop文件夹中name文件夹里面的version和data文件夹里面的version，这两个文件中的namespaceID是
Hadoop集群启动没有Datanode
NullNullAgo的博客
01-12 8810
本人搭建的伪分布式集群，Hadoop集群启动没有Datanode,一开始以为是配置问题，检查了发现没什么问题，后来发现是Datanode与Namenode之间的ClusterID不一致导致的。 可能造成的原因：频繁的格式化namenode 环境：VMWARE+Centos7+Hadoop3.1.1 解决：进入到你hadoop安装目录里面的/data/dfs文件夹中 cd /opt/module/hadoop-3.1.1/data/dfs/ 这个有三个文件夹，分别是namenode，datanod
伪分布hadoop搭建.docx
10-05
- 启动Hadoop服务：依次启动DataNode、NameNode、ResourceManager、NodeManager等进程。 - 运行测试程序：使用`hadoop fs -put`上传文件到HDFS，然后使用`hadoop fs -cat`读取验证。 最后，文档的附录部分可能会列...
在centos7下正确安装伪分布hadoop2.7.2和配置eclipse.pdf
07-03
在CentOS7操作系统中安装Hadoop 2.7.2并进行伪分布式配置，以及将环境集成到Eclipse，是一项常见的大数据开发任务。这个过程主要包括以下几个关键步骤： 1. **创建Hadoop用户**： 在CentOS7中，为了安全和管理方便...
hadoop-2.7.4 单机伪分布配置文件
05-29
在配置完成后，确保所有Hadoop相关的环境变量正确设置，比如`HADOOP_HOME`，然后通过启动Hadoop守护进程（如`start-dfs.sh`和`start-yarn.sh`）来启动伪分布式环境。值得注意的是，由于这个配置使用了`127.0.0.1`，...
启动Hadoop没有dataNode进程的解决办法
m0_67394002的博客
04-11 3887
1.问题现象: 在启动Hadoop时，通过jps目录发现没有datanode进程。 [root@hadoop ~]# jps 1792 SecondaryNameNode 1937 Jps 1650 DataNode 2 解决方案:clusterID不匹配导致的问题 网上搜了下，网上的说法都是由于进行hadoop格式化的时候没有事先结束所有进程，或者多次进行了format导致的datanode的clusterID 和 namenode的clusterID不匹配，从而在启动后没有datanode进程。 解决
解决Hadoop伪分布式集群jps没有datanode节点问题
sunzhipan11的博客
08-10 1万+
解决Hadoop伪分布式集群没有datanode节点问题
Hadoop伪分布式 datanode节点启动不了
fffffyp的博客
09-10 1359
Hadoop伪分布式 datanode节点启动不了 一，当出现namenode和datanode不能同时工作时，显示的问题如下 <1>当不启动namenode的时候可以启动datanode，情况如下图。 <2>当启动namenode节点的时候,datanode直接挂掉，情况如下图。 <3>这是因为多次格式化namenode导致的问题，namenode在格式化之后会生成一个clusterID,datanode在启动后也会生成一个和namenode一样的clusterI
hadoop伪分布式下 无法启动datanode的原因及解决办法
热门推荐
sym的博客
07-04 2万+
是由于多次format namenode节点导致 namdenode 的 namespaceID 与 datanode的namespaceID 不一致，从而导致namenode和 datanode的断连。 （因为在多次format中 有 reformat namenode的提示，多次format中不用已知都选Y 去format namenode的 namespaceID ，这样很容易造成ID不一致的情况）
如何解决伪分布无法启动datanode的问题
iteye_20921的博客
11-17 452
[问题描述]: 使用start-all.sh启动时, 无法启动datanode, 使用hadoop fs -put等命令报错 [问题分析]: 有两种情况 1. 使用root用户创建hadoop集群 使用root运行start-all.sh, hadoop会加上-jvm参数, 该参数根据java版本不同不一样, 这是导致错误的根源 观察 logs/hadoop-r...
伪分布模式下Hadoop启动没有namenode节点
Time_xiaoxia的博客
09-17 1805
启动过程没有发现错误，但是jps查看进程时，发现少了NameNode，而DataNode却存在： 原因：是端口9000已经被占用，解决办法有两个， 第一种：查找占用端口的进程，kill掉它。 hadoop@hadoop:~$ sudo netstat -anp|grep 9000 hadoop@hadoop:~$ sudo kill -9 7056（7056是端口号） 最后重新执行启动脚本，jps就可以看到NameNode了 如果已占用进程需要使用9000端口，可用第二种方法：修改core-site.xml
解决Hadoop伪分布式下datanode不出现得情况
weixin_44838902的博客
05-17 3533
2019.5.17 Hadoop伪分布式环境文件都配置好了，jps的时候不出现datanode，一开始我采用的方法就是不断格式化Hadoop namenode -format 然而没什么效果甚至还会消失之前出的几个节点。在之前配置文件的时候产生过一个Hadoop/tmp文件（这里是指第一个Hadoop文件夹），我把这个tmp文件夹删掉rm -rf tmp，然后在原来的地方重新建一个tmp文件夹mk...
hadoop的伪分布式模式配置与安装伪分布式模式
最新发布
11-26
- 配置完成后，可以在本地机器上启动Hadoop服务，如启动NameNode (`start-dfs.sh`)、JobTracker (`start-mapreduce.sh`)等，并通过这些命令行工具进行数据处理和任务调度的测试。 通过这种伪分布式配置，开发者可以...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值