HDFS删除节点

最新推荐文章于 2023-08-03 15:39:55 发布
最新推荐文章于 2023-08-03 15:39:55 发布
阅读量2.4k 收藏 3
点赞数 5
分类专栏： hadoop 文章标签： HDFS 删除节点
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/czxylzl/article/details/102939398
版权
本文详细介绍了在HDFS集群中删除无效数据节点的步骤，包括创建dfs.hosts.exclude配置文件，编辑hdfs-site.xml，刷新namenode和resourceManager，监控节点状态，停止节点进程，从配置文件中移除退役节点，并进行数据负载均衡。
摘要由CSDN通过智能技术生成

退役旧数据节点

目标：掌握HDFS在集群中删除掉无效节点的步骤

第一步：创建dfs.hosts.exclude配置文件

在namenod的cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop目录下创建dfs.hosts.exclude文件，
并添加需要退役的主机名称

node01执行以下命令

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
touch dfs.hosts.exclude
vim dfs.hosts.exclude

node04

第二步：编辑namenode所在机器的hdfs-site.xml

编辑namenode所在的机器的hdfs-site.xml配置文件，添加以下配置

node01执行以下命令

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim hdfs-site.xml

<property>
                <name>dfs.hosts.exclude</name>
                <value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/dfs.hosts.exclude</value>
        </property>

第三步：刷新namenode，刷新resourceManager

最低0.47元/天 解锁文章
大数据面试指南
关注
专栏目录
HDFS新增节点与删除节点
Malu_的博客
11-06 839
HDFS新增节点与删除节点 服役新数据节点 目标：掌握HDFS新添加节点到集群的步骤 准备新节点 第一步：复制一台新的虚拟机出来 将我们纯净的虚拟机复制一台出来，作为我们新的节点 第二步：修改mac地址以及IP地址 修改mac地址命令 vim /etc/udev/rules.d/70-persistent-net.rules 修改ip地址命令 vim /etc/sysconfig/network-...
关于HDFS删除节点的方法
小菜鸟的成长之路
01-10 248
那天因为有一台机器出了问题，所以要去掉，整合了半天，终于找到了那个修改的参数。在hadoop文件目录conf下，core-site.xml里，配置dfs.hosts.exclude属性。但是它的配置不同其它的配置，大多数配置，直接在VALUE里写上要去除的计算机名或IP就可，于是我就这样试了，但是总是不对。后来仔细看来，原来是需要这么配置。 在LINUX下配置方法： 建立一个新的文件： vi ...
HBase/HDFS 删除节点
最新发布
u011250186的博客
08-03 387
HBase/HDFS 删除节点
Hadoop删除节点（Decommissioning Nodes）
欢迎朋友，我是一名十多年开发经验的新手，希望多多指教。
06-09 400
Hadoop删除节点（Decommissioning Nodes）
转：HDFS动态添加、删除节点机器
06-05 202
https://blog.csdn.net/ccorg/article/details/85013623
HDFS添加和删除节点
jackydai987的专栏
03-07 1614
From  http://developer.yahoo.com/hadoop/tutorial/module2.htmlRebalancing Blocks如何添加新节点到集群：New nodes can be added to a cluster in a straightforward manner. On the new node, the same Hadoop version and configuration (conf/hadoop-site.xml ) as on the rest of
HDFS（11）--HDFS新增节点与删除节点
kismet
11-11 2158
需求基础： 随着公司业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。 准备新节点 第一步：复制一台新的虚拟机出来 将我们纯净的虚拟机复制一台出来，作为我们新的节点 第二步：修改mac地址以及IP地址 修改mac地址命令 vim /etc/udev/rules.d/70-persistent-net.rules 修...
HDFS新增节点与删除节点(9)
大数据梦想家
11-06 2548
        随着公司业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。因此,本篇博客小菌为大家带来的是HDFS新增节点与删除节点的内容。 文章目录准备新节点一:复制一台新的虚拟机出来二:修改mac地址以及IP地址三:关闭防火墙，关闭selin...
HDFS新增节点和删除节点
hzyyyyyyy的博客
11-06 675
HDFS新增节点 &服役新节点 第一步：准备好一台新的虚拟机，完成准备工作 第二步：创建dfs.hosts文件 `在主节点的/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop目录下 创建一个文件为：dfs.hosts （HDFS可用节点的白名单）在文件中添加所有可用节点的主机名 ` [root@node02 hadoop]# vi dfs.h...
HDFS是如何删除数据的？
热门推荐
Shockang的博客
05-28 1万+
写在前面 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和文献引用请见1000个问题搞定大数据技术体系 解答 客户端在删除HDFS上的文件时，会通过和元数据节点进行交互来执行命令，存储在数据节点上的文件内容的数据块(Block)也需要删除。 由于元数据节点不存储实际的数据，所以元数据在执行 delete() 函数时，只需标记哪些数据块需要删除。 元数据节点(NameNode)不会主动联系数据节点(DataNo
Hadoop 删除节点步骤
weixin_30600197的博客
11-20 262
1、在hadoop1.1.1/conf 下新建文件 nn-excluded-list 并写入要删除的节点名称或者IP 一个节点 一行 如： mos5200app cmpaknwom rac7 2、分发nn-excluded-list 文件至 各个节点 3、 上配置 hdfs-site.xml 并新增内容： <property> <name&g...
Hadoop动态删除节点
龙行天下Hadoop的专栏
08-17 547
在hadoop1上修改conf/hdfs-site.xml文件    　　dfs.hosts.exclude 　　/usr/local/hadoop/conf/excludes   l      确定要下架的机器 dfs.hosts.exclude定义的文件内容为,每个需要下线的机器，一行一个。 l      强制重新加载配置 hadoopdfsadmin  -refreshNod
hdfs 删除和新增节点
abc9169的博客
11-29 477
最近发现hdfs的一个问题，每当集群开启的时候，有一个节点上的可用空间就一直在减少，并且速度很快，发现是data目录下的dncp_block_verification.log.curr文件在一直变大，查了日志没有发现什么可疑的原因，只在datanode的日志上发现有几条日志如下非常可疑： 2015-11-28 21:35:51,029 INFO org.apache.ha...
hadoop经典系列(十二)HDFS添加删除节点并进行集群平衡
报喜鸟
12-04 573
HDFS添加删除节点并进行hdfs balance 方式1：静态添加datanode，停止namenode方式 1.停止namenode 2.修改slaves文件，并更新到各个节点 3.启动namenode 4.执行hadoop balance命令。（此项为balance集群使用，如果只是添加节点，则此步骤不需要） -----------------------------...
hadoop移除节点
浅抒流年的博客
08-22 828
step 1：使用hdfs-site.xml的配置项，排除节点 <property> <name>dfs.hosts.exclude</name> <value>/usr/local/hadoop/etc/hadoop/excludes</value> </property> step 2: 在exclud...
HDFS删除操作与海量存储解析
"删除HDFS下的文档-第3讲：HDFS海量存储" 在Hadoop分布式文件系统（HDFS）中，删除文档是一个常见的操作。HDFS被设计用来处理海量数据，提供高可用性和容错性。在这一讲中，我们将深入理解HDFS的基本概念、关键运作...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值