Hadoop集群动态添加一个节点后，无法单节点启动加入集群

最新推荐文章于 2021-12-13 23:24:56 发布
最新推荐文章于 2021-12-13 23:24:56 发布
阅读量156 收藏
点赞数
分类专栏： Java/Web/Linux/Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_924485343/article/details/116765590
版权

动态添加的那个节点，为了省去一些配置项，可以直接从slave2这个普通的节点上克隆，这样配置信息就都有了，但是最方便的往往不会是最简单的，这样反而会出现一些bug，因为克隆的是slave2（ip是静态的），克隆了后会出现无法上网的问题。

克隆后需要配置 主机名，静态ip与hostname的映射，hosts 和  hadoop的slaves.

然后删除掉 logs/ 和 data/ 中的内容 这个时候一定要记得换 hadoop 用户进行其他操作

 

苏格拉没底——
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop动态增加和删除节点方法介绍
09-30
主要介绍了hadoop动态增加和删除节点方法介绍，小编觉得挺不错的，这里分享给大家，需要的朋友可以参考。
Hadoop-添加新节点到集群
记录成长的点点滴滴
07-27 3205
在新节点安装好hadoop把namenode的有关配置文件复制到该节点修改master和salver文件，增加该节点 以上操作也可以通过直接复制一个节点的hadoop到新节点上，而第三步的节点添加则需要每一台机都要配置了，如果机群庞大的话还是很麻烦，那么也可以通过ssh传送配置或者写一些脚本实现。设置ssh免密码进出该节点 让新添加的节点可以与其他节点互相通讯单独启动该节点的datanode
启动hadoop集群时主节点启动成功，从节点启动没有成功
weixin_46731375的博客
05-23 5489
启动hadoop集群时主节点启动成功，从节点启动没有成功 出错：跟着视频学习搭建hadoop时，以node01为主节点，node02，node03为从节点，在启动hadoop集群是，node01成功启动，但是node01,node02启动没有成功 解决办法： 1.以为是在修改配置文件hdfs-site.xml中设置了name,data的文件路径，在格式化NameNode和DataNode时，会在配置的路径下生成namenodeDatas和datanodedata文件，可能因为非正常关闭，导致文件和之前的不匹
Hadoop datanode节点无法启动
duan19056的专栏
12-30 6244
1、问题描述 本人一个namenode节点下面挂在了3个data节点，在namenode  执行：./start-all.sh，其中一个datanode上面，DataNode进程无法启动，但TaskTracker可以启动，其他两个正常。 2、报错日志 2013-12-30 13:25:57,781 INFO org.apache.hadoop.metrics2.impl.Metric
Hadoop的单节点集群详细启动步骤
weixin_34293911的博客
03-15 456
    　　 　　见，如下博客 hadoop-2.2.0.tar.gz的伪分布集群环境搭建(单节点) 　　很简单，不多赘述。
hadoop集群，判断两个节点是否在一个集群中
01-28
判断两个节点是否在一个集群中，clusterid 与BPid必须保持一直
CentOS6.5x64下安装19实体节点Hadoop2.2.0集群配置指南
07-23
资源名称：CentOS 6.5 x64下安装19实体节点Hadoop 2.2.0集群配置指南内容简介： CentOS 6.5 x64下安装19实体节点Hadoop 2.2.0集群配置指南主要讲述的是CentOS 6.5 x64下安装19实体节点Hadoop 2.2.0集群配置指南;...
Hadoop三节点集群安装
01-04
Hadoop三节点集群安装 使用VMare 虚拟机创建三台CentOS7Linux机器
Hadoop3.1遇到的DataNode无法启动解决方案
云计算大数据
05-14 2329
hadoop 2.6遇到的DataNode无法启动
如何解决搭hadoop集群时datanode数据节点未启动或死节点的问题（爬坑中...）
blessness的博客
08-17 4104
出现的问题： 可以发现，当执行stop-all.sh命令关闭hadoop服务的时候，系统会报找不到datanode去关闭的错误。。因而当我们去浏览器访问“http://主机IP地址: 50070”的时候，Dead Nodes这一栏会显示所有的节点都是死节点… 问题分析： 1:之前多次将namenode格式化，导致namenode和datanode的clusterID不一致无法启动datanode；因而jps命令发现没有datanode启动，所以去Hadoop的日志文件下查看日志（/opt/hadoop-2.
Hadoop集群添加新节点
Jerry的博客
12-15 5603
写此博客目的前，真实的工作中遇到。需要在正在使用的Hadoop集群添加新节点，原有集群为6个节点，需要新增加一个节点到已有的集群中去。以前没有做过此操作，也是摸索着去处理这个问题，特此记录下这个过程： 总结：添加节点过程也不复杂，可能有了步骤后才有思路解决问题。首先，新增加节点需要安装的软件有（hadoop，jdk，spark，我有加装了scala），不需要装（zookeeper、hive等软件）...
五、Hadoop集群启动
铭绵羊
12-13 1606
1）集群单点启动 （1）如果集群是新集群，第一次启动需要格式化NameNode hdfs namenode -format （2）在hadoop102上启动NameNode hdfs --daemon start namenode （3）在hadoop102、hadoop103、hadoop104上分别启动DataNode hdfs --daemon start datanode （4）在hadoop104上启动SecondaryNameNode hdfs --daemon start secondaryn
Hadoop 集群节点datanode启动失败
jzj_c_love的博客
08-15 853
一.虚拟机分配 二. 问题描述 hadoop142作为主节点，Hadoop143和144总是datanode节点无法启动 在 logs里面，可以看到，是由于主节点Hadoop142namenode再次初始化导致 三.解决方案 将 hadoop142/143/144三个虚拟机中的 hadoop安装文件下的 data文件夹全部删除， 然后重新在hadoop142里面格式化 namenode。再次启动节点会正常，如下图所示。 ...
Hadoop 集群启动的时候主节点，可以启动datanode但是其它的节点不可以启动解决方法！
weixin_41244495的博客
07-22 3701
还有一种解决方法就是，删除VERSION文件，再格式化一次，之后启动会有有，datenode的clusterID于namenode的clusterID不一致，按下面的连接修改成namenode一致的id，其它的节点也需要改！   下面这个连接还可以解决，文件上传时候的报错，比如File***could only be replicated to 0 nodes instead of minRe...
hadoop启动后某些节点未启动，hadoop主节点无法启动datanode DataNode
科技向善
09-09 3841
项目场景： hadoop集群搭建，主节点hadoop01无法启动datanode 问题描述： 执行查看出错日志： cd /home/hadoop/apps/hadoop-2.7.7/logs/ tail -100 hadoop-hadoop-datanode-hadoop01.log [hadoop@hadoop01 logs]$ tail -100 hadoop-hadoop-datanode-hadoop01.log at org.apache.hadoop.hdfs.server.datanod
hadoop集群节点启不来解决方案
jiedaodezhuti的博客
03-04 2133
查看VERION信息： master 的 namenode 信息： > cd /usr/local/src/hadoop-2.6.1/dfs/name/current > cat VERSION #Tue Aug 18 01:43:38 EDT 2020 namespaceID=1008709700 clusterID=CID-c3345186-922b-4010-bb38-cdc135bc1afe cTime=0 storageType=NAME_NODE blockpoolID=BP-26
Hadoop集群，不重启增加机器
cgfish的专栏
11-04 172
有的时候， datanode或者tasktracker crash，或者需要向集群中增加新的机器时又不能重启集群。下面方法也许对你有用。 1.把新机器的增加到conf/slaves文件中（datanode或者tasktracker crash则可跳过） 2.在新机器上进入hadoop安装目录 $bin/hadoop-daemon.sh start datanode $bin/had...
hadoop多次（两次以上）初始化以后，无法启动DataNode节点（已解决）
lukabruce的博客
05-11 9231
1、问题描述：  多次格式化文件系统时，会出现datanode无法启动2、问题产生原因：  执行文件系统格式化时（即执行命令$ bin/hadoop namenode -format 后），会在namenode数据文件夹（即配置文件中dfs.name.dir在本地系统的路径）中保存一个current/VERSION（我的路径为 usr/local/hadoop/tmp/dfs/name/curre...
Hadoop集群启动后每个节点 DataNode等进程号不一致
最新发布
07-13
对于Hadoop集群中每个节点的进程号不一致的问题，可能有几种可能的原因。以下是一些常见的原因和解决方法： 1. 配置文件不一致：请确保每个节点上的Hadoop配置文件（如`hdfs-site.xml`和`core-site.xml`）是相同的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值