centos7解决hadoop2.6.4多次格式化导致的slaver节点datanode无法启动的问题

最新推荐文章于 2023-10-13 17:13:06 发布
最新推荐文章于 2023-10-13 17:13:06 发布
阅读量593 收藏 5
点赞数 3
分类专栏： java 文章标签： hadoop 大数据 hdfs 后端 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_54853503/article/details/126326828
版权

多次格式化使namenode和datanode的clusterID不一致，emmm或许可以，帮助你找到需要修改的位置……

在主节点：

首先进入hadoop安装位置

watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAZ29vb29vb29vb29vb3Nl,size_20,color_FFFFFF,t_70,g_se,x_16

进入logs：

cd ./logswatermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAZ29vb29vb29vb29vb3Nl,size_20,color_FFFFFF,t_70,g_se,x_16

使用tail -f 查看日志watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAZ29vb29vb29vb29vb3Nl,size_20,color_FFFFFF,t_70,g_se,x_16

在这里可以看到由于clusterID不一致导致的报错，以及文件路径watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAZ29vb29vb29vb29vb3Nl,size_20,color_FFFFFF,t_70,g_se,x_16

进入这个位置：cd /data/hadoop/hdfs/name

进入current：cd ./current/

查看VERSION ：cat VERSION

找到里面的clusterID，用它覆盖data下的clusterID。vi/data/hadoop/hdfs/data/current/VERSION

在slaver节点：

修改data下的current的VERSION：

vi/data/hadoop/hdfs/data/current/VERSION

用之前主节点的clusterID覆盖当前目录下的clusterID

最后重启hadoop……

鱼香Ross
关注
专栏目录
centos7解决hadoop2.6.4多次格式化导致的slave节点datanode无法启动的问题
goooooooooooose的博客
03-13 2154
多次格式化使namenode和datanode的clusterID不一致，emmm或许可以，帮助你找到需要修改的位置…… 在主节点： 首先进入hadoop安装位置 进入logs： cd ./logs 使用tail -f 查看日志 在这里可以看到由于clusterID不一致导致的报错，以及文件路径 进入这个位置：cd /data/hadoop/hdfs/data 进入current：cd ./current/ 查看VERSION ：cat VERSION 找到里面的clust...
关于我第二次遇到Hadoop启动集群子节点没有DataNode节点问题
m0_58676712的博客
07-21 3139
找一下HDFS的配置文件,我的在$HADOOP_HOME/etc/hadoop文件夹下，查看你的dfs.name.dir 和 dfs.data.dir 下的内容，也就是保存的路径在哪里，然后删掉文件夹下的data和name文件夹，重新启动集群。
多次格式化hadoop后，导致DataNode无法启动
qq_35745923的博客
05-25 644
如果大家有在第一次创建hadoop服务器的时候，多次进行hdfs namenode -format这个命令的时候，会发现Datanode无法启动。 我搭建的hadoop版本是3.1.3。 首先说明原因：这是因为在执行hdfs namenode -format这条命令的时候会改变Namenode的clusterID，这会导致Namenode的ClusterID与Datanode的ClusterID不一致，所以才会导致启动失败。 我的解决方法是： 第一步：进入 cd /home/hadoop/tmp/dfs/n
hadoop多次格式化后，导致datanode启动不了
weixin_30719711的博客
07-05 98
hadoop namenode -format多次格式化后，datanode启动不了 org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/beifeng/core-site.xml._COPYING_ could only be replicated to 0 nodes instead of...
多次格式化namenode之后datanode无法启动
zuo_qin_bo的专栏
07-13 591
：该文档解决了多次格式化文件系统后，datanode无法启动的问题 一、问题描述      当我多次格式化文件系统时，如           root@localhost:/usr/local/hadoop-1.0.2#bin/hadoop namenode -format     会出现datanode无法启动，查看日志，发现错误为：       2012-
格式化次数多了，datanode总是启动不起来有救了
weixin_56512906的博客
06-13 284
我自己的集群经常会进程namenode和datanode显示启动，但用jps命令后，发现没有，试了各种方法都没有，最后去看了namenode和datanode的clusterID要改为一直，如果多次格式化这个值百分之八十都不一样，去把它们改为一直就可启动集群，亲测有效...
[整理]Centos6.5 + hadoop2.6.4环境搭建
08-13
在本教程中，我们将深入探讨如何在CentOS 6.5操作系统上搭建Hadoop 2.6.4环境。Hadoop是一个开源的分布式计算框架，主要用于处理和存储大量数据。让我们一步步来了解这个过程。 首先，确保你的系统是最新状态，通过...
hadoop安装包centos6.5-hadoop-2.6.4.tar.gz
03-28
7. **启动Hadoop**：启动Hadoop的各个服务，包括DataNode、NameNode、ResourceManger和NodeManager，使用相应的启动脚本。 8. **测试Hadoop**：通过运行简单的Hadoop命令，如 `hadoop fs -ls /` 来检查HDFS是否正常...
CentOS7 Hadoop 2.7.X 安装部署.docx
04-29
CentOS7 Hadoop 2.7.X 安装部署 本文档将指导您如何在 CentOS 7 上安装和部署 Hadoop 2.7.X。Hadoop 是一个开源的大数据处理框架，由 Apache 开发，旨在提供高效、可靠、可扩展的数据处理能力。 准备软件包 在...
Hadoop集群之集群格式化多次该怎么办？
weixin_45659364的博客
10-18 2496
在搭建Hadoop集群时，很有可能就一不小心多进行了格式化操作，一旦进行多次格式化操作，会导致集群出现一些问题，解决方法如下： 1.所有的虚拟机全都删除logs，dfs，tmp文件 2.在主结点上重新格式化 这样便很简单的解决了问题 ...
Hadoop多次格式化后如何解决
weixin_51341142的博客
11-23 4988
产生原因 我们在配置hadoop中的hdfs时，会设置元数据的存储位置，如图所示 要想解决此问题，先停止所有启动的服务 stop-all.sh 然后删除上图画出来的配置文件，这里三台机器都要删，最后进入hadoop目录删除logs就可以重新格式化了 ...
hadoop多次格式化解决办法
最新发布
2301_77640888的博客
10-13 1698
配置文件core-site.xml 和hdfs-site.xml中指定目录下的文件（在如例地找 /root/wwr/hadoop-3.1.4/etc/hadoop）hadoop首次启动需要格式化，这时若是因为一些原由导致格式化不止一次，就会导致主点之间互相不识别，就会导致一些节点不会启动（如图是没问题的）
Hadoop 上传时出错以及多次format补救方法
chenzhuang1234的博客
03-20 3803
#本来想上传文件，结果出错 hadoop fs -put anaconda-ks.cfg /itcast #结果提示： File /itcast/anaconda-ks.cfg._COPYING_ could only be written to 0 of the 1 minReplication node 输入jps检查java进程，发现没有datanode，这是因为之前进行了两次的format格式化 多次format除了造成数据丢失外，还会导致hdfs集群主从角色之间互不识别。通过删除所有机器h.
搭建hadoop初次格式化 格式化了很多次报错解决方案（亲测好用）
weixin_44961033的博客
09-17 2913
那我们在格式化时，不小心格式化多次，就会导致主从节点之间互相不识别。然后导致启动hadoop集群时，主节点的namenode进程可能不会启动或者从节点的datanode可能不会启动。在搭建完hadoop集群时，初次启动HDFS集群，需要对主节点进行格式化操作，其本质是清理和做一些准备工作，因为此时的HDFS在物理上还是存在的。而且主节点格式化操作。我们在配置hadoop的配置文件core-site.xml时，其中有一组参数hadoop.tmp.dir，它的值指定的是配置hadoop的临时目录。
hadoop多次格式化后出现datanode无法正常启动的解决办法
newfelen的专栏
11-07 4355
hadoop 多次执行命令： hadoop namenode -format后，发现再次启动hadoop后，datanode节点无法正常启动，出现错误代码如下：
解决Hadoop集群多次进行格式化导致DataNode不启动不能正常储存文件
h20010320的博客
09-13 2307
格式化命令只需要在Hadoop集群初次启动前执行一次即可，后续重复启动时就不需要执行格式化了。如果再次执行格式化，集群会出错，不能正常存储文件。 报错信息如下 21/09/13 06:05:29 WARN hdfs.DFSClient: DataStreamer Exception org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /hxg.txt._COPYING_ could only be replicated to 0
解决Hadoop中多次格式化导致DataNode无法启动的问题
qq_45814108的博客
09-12 1093
一般由于多次格式化NameNode导致。在配置文件中保存的是第一次格式化时保存的NameNode的ID，因此就会造成NataNode与NameNode之间的id不一致 1.首先进入 hadoop 目录下的logs文件夹查看日志 cat hadoop/logs/hadoop-root-datanode-hadoop02.log (要根据你们的安装路径来) 出现以下报错信息，可以明显看到 namenode 和 datanode 的clusterID不一致 2.这时要记录下 namenode的 cluste
CentOS7中安装Hadoop2.6.4，能够正常启动，但datanode的数目为0的解决方法
YiShiWenYan
04-08 2780
在Workstation12 中创建了3个安装了CentOS7.0的虚拟机，其中一个作为主节点master，两个作为从节点slave，各种准备环境搞好后安装了Hadoop2.6.4，各种配置文件啥的都弄好了，初始化也successful了，但是在主结点上执行启动命令后，却在master:50070和master:8088上看不到datanode，在网上尝试了各种方法都没起作用，最终应该是修改了/e
hadoop多次格式化后，导致的问题
cl723401的博客
09-29 9178
1.hadoop namenode多次格式化可能导致的问题    1.1 各个单独结点可以起来（jps有进程提示）但是用hdfs dfsadmin -report去查各项结果都为0。    1.2使用start-dfs.sh只启动了namenode没有启动datanode，且-report的结果也全0 遇到这个问题我开始怎么也解决不了，只好从头重新安装配置了一次lunix和hadoop，成功...
CentOS6.5环境下Hadoop2.6.4集群配置全攻略
"本文档主要介绍了如何在CentOS6.5环境下搭建Hadoop2.6.4集群，包括配置服务器、设置SSH无密码访问以及安装和配置Hadoop的步骤。" 在构建Hadoop集群的过程中，首先需要对服务器进行基础配置。在本案例中，我们有1个...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

鱼香Ross

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值