hadoop集群恢复删除掉的节点

最新推荐文章于 2023-06-27 16:47:52 发布
最新推荐文章于 2023-06-27 16:47:52 发布
阅读量2.2k 收藏
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/co_diy/article/details/8301995
版权
本文介绍了在学习Hadoop过程中遇到的问题及如何恢复删除的DataNode节点。错误提示为'unknown datanode X003:50010'，解决方法包括更新excludes文件，执行refreshNodes命令，以及重新启动datanode和tasktracker。
摘要由CSDN通过智能技术生成

这两周在学hadoop，学的过程碰到一些问题，在这里写写.

今天的问题是怎么把删除的datanode恢复

当时因为没执行refreshNodes，结果datanode启动不成功

报了如下错误：

 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: org.apache.hadoop.ipc.RemoteException: java.io.IOException: verifyNodeRegistration: unknown datanode X003:50010

下面是恢复的步骤：

首先把excludes文件里面被删除的datanode ip删除

第二，把excludes文件传到各台机器上

第三，在master机器上执行hadoop dfsadmin -refreshNodes

第四，在要恢复的机器上执行hadoop-daemon.sh start datanode

            hadoop-daemon.sh start tasktracker两命令

最后验证

在master机器上执行hadoop dfsadmin -report

查看是否多了个节点


co_diy
关注
Hadoop集群中添加或删除节点
探索地理之源 分享GIS价值
12-06 1157
最近由于试验的需要，涉及到不同节点个数的集群性能对比，因此，需要在原有的Hadoop集群中添加或者删除节点。 第一步：修改Namenode中的Slaves文件，删除或者添加Datanode名称； 第二步：将修改过的Slaves文件scp到每一个Datanode相应的位置，覆盖原文件； 第三步：删除Namenode上的hdfs和logs文件下的所有文件； 第四步：依次删除Datanode中h
Hadoop集群动态添加/删除节点
qq_53383349的博客
09-07 2885
一、准备新节点，命名为slave3 1、修改新节点的主机名 hostnamectl set-hostname slave3 bash 2、关闭防火墙 systemctl stop firewalld systemctl disable firewalld 二、安装JDK 1、创建工作目录 mkdir -p /usr/java 2、解压缩（安装包位于/usr/package） cd /usr/package tar -zxvf jdk1.8.0_221.tar.gz -C /usr/
大数据Hadoop集群删除节点
Fay_Linux的博客
07-19 1057
Hadoop集群删除节点 nn01主机 [root@nn01 ~]# cat /usr/local/hadoop/etc/hadoop/slaves //注释或删除node4 node1 node2 node3 #node4 [root@nn01 hadoop]# tail /usr/local/hadoop/etc/hadoop/hdfs-site.xml //修改配置文件 … ...
添加和删除hadoop集群中的节点
weixin_33801856的博客
11-11 125
1：添加节点 A：新节点中添加账户，设置无密码登陆 B：Name节点中设置到新节点的无密码登陆 C：在Name节点slaves文件中添加新节点 D：在所有节点/etc/hosts文件中增加新节点（所有节点保持一致） E：在新节点中执行 ./bin/hadoop-daemon.sh start datanode ./bin/hadoop-daemon.sh start tasktr...
hadoop集群删除节点
热门推荐
tian_1_2_3的博客
10-20 1万+
1、 创建黑名单文件 dfs.hosts.exclude 并添加需要退役的节点 2、在hdfs-site.xml中添加一下配置 <property> <name>dfs.hosts.exclude</name> <value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/dfs.hosts.exclude</value> </property> 3、 刷新Nam
Hadoop集群动态添加节点后节点数量未增加且节点名称不稳定的解决方案
TonyZhang的专栏
05-24 3792
问题现象当前有01、02、03三个节点的hadoop集群，其中01是master节点，02、03为slave节点。当动态添加04的slave节点后，hadoop的web界面中显示的节点数目未增加。进一步观察，节点列表中的slave节点内容，时而是02、04节点，时而是02、03节点，非常诡异。  分析原因找到datadir目录下的current/VERSION文件，03和04服务器中的datano...
【Hadoop】创建Hadoop集群（3个节点）—— 安装部署一个3个节点构成的hbase集群
最新发布
disy924的博客
06-27 6544
互联网的快速发展带来了数据快速增加，海量数据的存储已经不是一台机器所能处理的问题了。Hadoop的技术应运而生，对于伪分布式存储，Hadoop有自己的一套系统Hadoop distribution file system来处理，为什么分布式存储需要一个额外的系统来处理，而不是就把1TB以上的文件分开存放就好了呢，如果不采用新的系统，我们存放的东西没办法进行一个统一的管理。
利用ansible 自动 安装Hadoop 集群
05-10
在该目录下，创建`hosts`文件，列出所有Hadoop集群节点的IP地址或主机名，按照角色进行分组，例如，`namenode`、`datanode`等。 3. **编写Playbook**：创建`site.yml`或`hadoop-cluster.yml`文件，这是Ansible的...
hadoop动态增加和删除节点方法介绍
09-30
本篇文章将详细阐述如何在Hadoop集群中实现动态增加DataNode和删除DataNode的操作。 **一、动态增加DataNode** 在Hadoop集群中增加新的DataNode节点，可以提高集群的数据存储和处理能力。以下是增加DataNode的步骤...
Hadoop回收站trash-恢复删除的文件
09-04
关于hadoop恢复删除的文件，敬请参考
删除恢复Hadoop集群中的DataNode
weixin_33711647的博客
11-21 153
 有时候因为做临时调整可能需要删除hadoop集群中的DataNode，具体方法如下： 首先在/etc/hadoop/conf/dfs.exclude 中添加要删除节点的机器名   在控制台页面中看见显示了一个Dead  Datanodes 使用命令刷新节点信息： [hdfs@hmc ~]$ hadoop dfsadmin -refreshNodes 查看hdfs的使用报告：[hd...
修复Hadoop集群系统
zhixingheyi_tian的博客
06-22 214
修复某一台datanode 先建立免密登陆 将namenode ~/.ssh/下的公钥id_rsa.pub 内容copy 到 datanode 的 ~/.ssh/authorized_keys 里，直接追加即可 修改配置 $HADOOP_HOME/etc/slaves 如果datanode IP 变了要修改 slaves /etc/hosts 如果datanode IP 变了,要修改 hosts...
hadoop动态添加删除节点datanode及恢复
weixin_30597269的博客
03-02 439
1. 配置系统环境 主机名,ssh互信,环境变量等 本文略去jdk安装，请将datanode的jdk安装路径与/etc/hadoop/hadoop-evn.sh中的java_home保持一致，版本hadoop2.7.5 修改/etc/sysconfig/network 然后执行命令hostname 主机名这个时候可以注销一下系统，再重登录之后就行了 [root@localhost ~...
Hadoop集群动态添加删除节点
zzzyyyyttt的博客
08-07 869
添加： 1.首先配置主节点的hdfs-site.xml 添加允许和拒绝加入集群的节点列表（如果允许的列表为空默认都允许连接，拒绝的列表为空则代表没有节点拒绝连接集群。拒绝列表的优先级大于允许的优先级） vi /usr/hadoop/hadoop-2.7.7/etc/hadoop/hdfs-site.xml 配置文件： <property> <name>dfs.hosts</name> <value>/h...
在不开启回收站的情况下恢复Hadoop误删除文件
ciqingloveless的博客
04-22 1149
这个问题其实比较严重，提前说一下结论，能恢复的只有执行删除后未删除的数据，已经删除的数据无法恢复。 什么叫执行删除后未删除的数据呢，因为hadoop执行删除时是在edits文件中添加一个标记，然后慢慢删除，这其中有个过程，假如你只删除一个文件，那我估计这种方式是无法恢复的，这个办法只能恢复标记删除而未删除的记录。 停止Hadoop集群 停止集群这一步的时间，决定了你能恢复数据的多少，假如停止过慢，.........
hadoop datanode 磁盘坏掉之后的解决办法
923723914
12-23 538
之前发了一篇文章： http://blog.csdn.net/lxpbs8851/article/details/17241551 记录的是由于开启了 坏掉磁盘的datanode，导致集群部分功能无法使用的现象。 上次的解决办法是 直接暴力kill掉了坏掉磁盘的DataNode &amp;&amp; TaskTracker 修复的节点记录为 slave143 过程如下： 1.下线s...
HA-Hadoop集群动态添加、删除节点
广彐水厂
06-26 738
前置准备 CentOS7、jdk1.8、hadoop-2.7.7、zookeeper-3.5.7 想要完成本期视频中所有操作，需要以下准备： 大数据开发之Hadoop前置准备 Hadoop完全分布式集群环境搭建-视频教程 HA(高可用)-Hadoop集群环境搭建视频+图文教程 大数据常用shell脚本之分发脚本编写-视频教程 大数据常用shell脚本之ha-hadoop脚本编写-视频教程 一、集群规划 下面的步骤我们将实现把hadoop04动态上线，再将hadoop04动态下线 二、启动现有集群
Hadoop集群动态新增节点和故障转移配置
Hadoop动态新增节点是Hadoop集群中的一个重要功能，它允许用户在不中断服务的情况下增加或减少节点，从而提高集群的可扩展性和可靠性。本文将详细介绍Hadoop动态新增节点的过程和注意事项。 一、Hadoop动态新增节点...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值