HDFS：退役节点 图文详解

最新推荐文章于 2023-03-13 16:09:07 发布
最新推荐文章于 2023-03-13 16:09:07 发布
阅读量1.5k 收藏
点赞数 6
文章标签： HDFS退役节点
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dlc_996/article/details/103001629
版权

在HDFS集群内退役一个集群分几步

第一步

在NameNode主节点新添加一个文件

touch dfs.hosts.exclude

在dfs.hosts.exclude文件内添加需要退役的节点主机名

第二步

在NameNode主节点的hdfs-site.xml文件添加配置，让dfs.hosts.exclude文件生效

<property>
	<name>dfs.hosts.exclude</name>
	<value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/dfs.hosts.exclude</value>
</property>

第三步 刷新

在NameNode主节点的hadoop安装目录下执行以下命令

命令1：hdfs dfsadmin -refreshNodes
命令2：yarn rmadmin -refreshNodes

在Web页面查看

在这里插入图片描述
如果页面没有结果请重启集群，强制刷新Web页面（亲测，需要多刷几次，电脑NB请略过~~~）
http://node01:50070/dfshealth.html#tab-datanode

BigData攻城狮
关注
Spark启动报错：java.io.FileNotFoundException: File does not exist: hdfs://bigdata1:8020/sparklog
zhengzaifeidelushang的博客
11-09 3340
Spark启动报错：java.io.FileNotFoundException: File does not exist: hdfs://bigdata1:8020/sparklog 启动Spark报错是因为HDFS上没有sparklog目录，在HDFS上新建立sparklog目录后，在启动Spark就能正常启动。 一、Spark开启日志聚合功能，将Spark应用程序的运行信息写入指定目录hdfs://bigdata1:8020/sparklog vim /moudle/spark-3.0.1/conf/s
Hadoop系列十之HDFS节点的服役和退役
weixin_43497829的博客
02-26 437
1.服役新数据节点 随着工资业务的增长，数据量越来越大，烟油的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。 1.1 环境准备 （1）在hadoop103主机上再克隆一台hadoop104主机 （2）修改IP地址和主机名称 （3）删除原来HDFS文件系统留存的文件（/opt/module/hadoop-3.1.3/data和log） （4）source一下配置文件 [JL@hadoop104 hadoop-3.1.3]$ source /etc/profile 1.2
HDFS之退役旧数据节点
ITBOY_ITBOX博客
05-10 391
方式一：添加白名单 添加到白名单的主机节点，都允许访问NameNode，不在白名单的主机节点，都会被退出。白名单更严格一些 配置白名单的具体步骤如下： （1）在NameNode的/opt/module/hadoop-2.7.2/etc/hadoop目录下创建dfs.hosts文件 [atguigu@hadoop102 hadoop]$ pwd /opt/module/hadoop-2....
HDFS的节点退役
王傲旗的大数据之路
11-06 4789
1.创建黑名单配置文件 进入到hadoop安装目录下etc/hadoop/ touch dfs.hosts.exclude 2.添加黑名单配置到 hdfs-site.xml中 3.将退役节点的ip在白名单中移除 vim dfs.hosts 4.将退役节点ip在黑名单中添加 vim dfs.hosts.exclude 5.将文件在slaves中移除 vim slaves 6.刷新集群状态 ...
DataNode（面试开发重点3）
翁老师的教学团队
03-25 371
5 退役旧数据节点 让DateNode退役有两种方式： 一，白名单 二，黑名单 可以通过白名单来添加节点，通过黑名单来删除节点 不允许白名单和黑名单中同时出现同一个主机名称 添加白名单 添加到白名单的主机节点，都允许访问NameNode，不在白名单的主机节点，都会被退出。 配置白名单的具体步骤如下： （1）在NameNode的/opt/module/hadoop-2.7.2/etc/hadoop目录下创建dfs.hosts文件 cd /opt/module/hadoop-2.7.2/etc/hadoop v
HDFS服役和退役数据节点
qq_45973211的博客
09-08 297
服役退役数据节点
HDFS(九)：服役和退役节点
05-07 204
1 服役新数据节点 需求： 随着公司业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。 1.1 环境准备 （1）克隆一台虚拟机 （2）修改ip地址和主机名称 （3）修改xcall和xsync文件，增加新增节点的同步 （4）删除原来HDFS文件系统留存的文件(还有ssh) /opt/module/hadoop-2.7.2/da...
HDFS（退役节点），集群扩展（扩容）节点 图文详解，
weixin_43874875的博客
11-11 1017
在HDFS集群内退役一个集群分几步 第一步 在NameNode主节点新添加一个文件 在dfs.hosts.exclude文件内添加需要退役的节点主机名、 第二步 在NameNode主节点的hdfs-site.xml文件添加配置，让dfs.hosts.exclude文件生效 第三步 刷新 在NameNode主节点的hadoop安装目录下执行以下命令 在Web页面查看 如果页面没有结果请重启集...
HDFS：集群扩展（扩容）节点 图文详解
小蜜蜂博客
11-10 3914
第一步：准备一个纯净的能ping通外网的虚拟机，作为新节点 关闭防火墙 关闭seLinux 修改主机名（重启后生效） vi /etc/sysconfig/network 4. 配置主机名与IP对应关系 5. SSH免密码登录 生成秘钥和公钥命令： ssh-keygen 查看生成秘钥和公钥存在位置：ll /root/.ssh/ 发送公钥给其他节点：ssh-copy-id ip或者...
HDFS : Fsimage与Edits 详解
汉子一枚
11-13 6049
Fsimage Edits详解 NameNode元数据解析 （1）第一次启动namenode格式化后，创建fsimage和edits文件。如果不是第一次启动，直接加载edits和fsimage文件到内存。 （2）客户端对元数据进行增删改的请求。 （3）namenode记录操作日志，更新滚动日志。 （4）namenode在内存中对数据进行增删改查 Fsimage保存了最新的元数据检查点，在HDFS...
大数据开发：HDFS数据节点与名称节点的通信机制.docx
12-13
"大数据开发：HDFS数据节点与名称节点的通信机制" 大数据开发中，HDFS（Hadoop Distributed File System）作为分布式文件系统，提供了稳固的底层存储支持。HDFS的各个节点之间的通信机制是大数据开发的关键所在。...
Hadoop HDFS 退役旧节点
热门推荐
小杨的技术博客
04-03 2万+
注意：如果副本数是3，服役的节点小于等于3，是不能退役成功的，需要修改副本数后才能退役。 配置 dfs.hosts 在服务器白名单中删除hadoop105 [root@hadoop102 hadoop]# pwd /opt/module/hadoop-2.7.2/etc/hadoop [root@hadoop102 hadoop]# vim dfs.hosts 配置 dfs.hosts.excl...
HDFS服役退役
THanHan的博客
07-09 246
服役新数据节点 环境准备 （1）克隆一台虚拟机 （2）修改ip地址和主机名称 （3）修改xcall和xsync文件，增加新增节点的同步 （4）删除原来HDFS文件系统留存的文件 服役新节点具体步骤 （1）在 namenode 目录下创建 dfs.hosts 文件 vim /usr/local/hadoop-2.7.2/etc/hadoop/dfs.hosts 添加如下主机名称（包含新服役的节点） 注：如果没有做映射请去vim /etc/hosts加入映射 如：192.168.xx.xxx hadoop10
hadoop - 节点的服役和退役（HDFS）
走走停停的专栏
09-27 548
1. 首先需要克隆一台主机 现在我这里已经有五台虚拟机，要克隆的目标主机为CentOS7-1810_04： 启动集群后webUI如下： 把要克隆的目标虚拟机关机，在VMware上选中目标主机 -> 右键 -> 管理 -> 克隆： 然后下一步，选择克隆自：虚拟机中的当前状态： 继续下一步，克隆方法选择：创建完整克隆： 继续下一步，修改虚拟机名称和位置： 然后选择完成...
【hadoop】14.HDFS-服役节点与退役节点
weixin_34174132的博客
01-12 227
2019独角兽企业重金招聘Python工程师标准>>> ...
退役节点小知识
weixin_44361667的博客
11-06 1555
退役节点 创建dfs.hosts.exclude配置文件 输入需要退役的节点 编辑namenode所在机器的hdfs-site.xml 把dfs.hosts.exclude文件的路径写入hdfs-size.xml中 刷新namenode，刷新resourceManager 命令： hdfs dfsadmin -refreshNodes 命令： yarn rmadmin -refreshNo...
HDFS中服役与退役数据节点
a1786742005的博客
02-04 441
一、服役新数据节点 1、需求        随着公司业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。 2、环境准备 (1) 在 hadoop153 主机上再克隆一台 hadoop154 主机 (2) 修改 hadoop153 的ip地址和主机名称 (3) 修改...
退役旧数据节点
youif的博客
08-17 4252
参考尚硅谷hadoop 教程 链接：http://i8n.cn/U4sxdj 添加白名单 添加到白名单的主机节点，都允许访问NameNode，不在白名单的主机节点，都会被退出。 配置白名单的具体步骤如下： （1）在NameNode的/opt/module/hadoop-2.7.2/etc/hadoop目录下创建dfs.hosts文件 [hadoop@hadoop102 hadoop]$ pwd /opt/module/hadoop-2.7.2/etc/hadoop [atghadoopigu@hado.
HDFS黑名单退役服务器
最新发布
zhongmingyu
03-13 1458
黑名单：表示在黑名单的主机IP地址不可以，用来存储数据。企业中：配置黑名单，用来退役服务器。添加如下主机名称（要退役的节点）
Hadoop HDFS：分布式文件系统详解
HDFS也不适合处理大量小文件，因为这会导致NameNode（HDFS的命名节点）内存负担过重，存储大量小文件的寻址时间会超过读取时间，这违背了HDFS的设计初衷。此外，HDFS仅支持单个写入和追加操作，不支持并发写入和文件...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值