HDFS的节点退役

最新推荐文章于 2023-03-13 16:09:07 发布
最新推荐文章于 2023-03-13 16:09:07 发布
阅读量4.7k 收藏
点赞数 3
分类专栏： HDFS 文章标签： 大数据 HDFS hadoop HDFS节点退役
王傲旗的大数据之路
本文链接：https://blog.csdn.net/weixin_43893397/article/details/102943920
版权

1.创建黑名单配置文件

进入到hadoop安装目录下etc/hadoop/
touch dfs.hosts.exclude

2.添加黑名单配置到 hdfs-site.xml中

在这里插入图片描述

3.将退役节点的ip在白名单中移除

vim dfs.hosts

4.将退役节点ip在黑名单中添加

vim dfs.hosts.exclude

5.将文件在slaves中移除

vim slaves

6.刷新集群状态

hdfs dfsadmin -refreshNodes
yarn rmadmin -refreshNodes
大数据面试宝典
关注
专栏目录
Hadoop系列十之HDFS节点的服役和退役
weixin_43497829的博客
02-26 442
1.服役新数据节点 随着工资业务的增长，数据量越来越大，烟油的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。 1.1 环境准备 （1）在hadoop103主机上再克隆一台hadoop104主机 （2）修改IP地址和主机名称 （3）删除原来HDFS文件系统留存的文件（/opt/module/hadoop-3.1.3/data和log） （4）source一下配置文件 [JL@hadoop104 hadoop-3.1.3]$ source /etc/profile 1.2
HDFS的DN退役以及如何加快DN退役速度
weixin_44976835的博客
08-20 680
首先看一下选择复制源节点的源码： /** * Parse the data-nodes the block belongs to and choose one, * which will be the replication source. * * We prefer nodes that are in DECOMMISSION_INPROGRESS state to other nodes * since the former do not have write traf
HDFS之退役旧数据节点
ITBOY_ITBOX博客
05-10 392
方式一：添加白名单 添加到白名单的主机节点，都允许访问NameNode，不在白名单的主机节点，都会被退出。白名单更严格一些 配置白名单的具体步骤如下： （1）在NameNode的/opt/module/hadoop-2.7.2/etc/hadoop目录下创建dfs.hosts文件 [atguigu@hadoop102 hadoop]$ pwd /opt/module/hadoop-2....
Hadoop HDFS 退役旧节点
热门推荐
小杨的技术博客
04-03 2万+
注意：如果副本数是3，服役的节点小于等于3，是不能退役成功的，需要修改副本数后才能退役。 配置 dfs.hosts 在服务器白名单中删除hadoop105 [root@hadoop102 hadoop]# pwd /opt/module/hadoop-2.7.2/etc/hadoop [root@hadoop102 hadoop]# vim dfs.hosts 配置 dfs.hosts.excl...
HDFS：退役节点 图文详解
小蜜蜂博客
11-10 1538
在HDFS集群内退役一个集群分几步 第一步 在NameNode主节点新添加一个文件 touch dfs.hosts.exclude 在dfs.hosts.exclude文件内添加需要退役的节点主机名 第二步 在NameNode主节点的hdfs-site.xml文件添加配置，让dfs.hosts.exclude文件生效 <property> <name>dfs.hosts...
HDFS服役和退役数据节点
qq_45973211的博客
09-08 297
服役退役数据节点
HDFS DataNode节点服役退役
weixin_43326165的博客
09-11 726
新节点服役 前期准备 准备一台新的虚拟机环境和集群机器环境相同 修改主机IP和主机名称 删除hadoop目录下的data 和log文件夹 配置hdfs和yarn对于新节点的SSH免密登陆 新节点配置 在namenode节点上 etc/hadoop/目录下 新建dfs.hosts文件(文件名任意) 输入以下内容。hadoop104是新服务节点 hadoop101 hadoop102 h...
[hadoop] HDFS的新节点上线和旧节点退役
朱同学的博客
09-26 367
新节点上线 1 准备一个全新的节点,使用root账户登录 2 修改ip和host主机名 3 在管理节点端配置SSH免密码登录 4 关闭防火墙 5 安装JDK,解压hadoop安装包并配置相关环境变量 6 将以前节点的hadoop配置文件同步到新节点 7 直接启动新节点的DataNode即可关联到集群 sbin/hadoop-daemon.sh start datanode sbin/yarn-da...
大数据系列之Hadoop知识整理（五）Hdfs节点的服役与退役
spark798的博客
06-25 268
Hdfs节点的服役与退役也就是节点的新增与删除。其中退役也就是把节点放在黑名单里，并且从白名单中删除，服役就是在白名单中新加入节点 具体配置如下： 黑白名单的组合情况 ------------------------- include //dfs.include（白名单） exclude //dfs.hosts.exclude（黑名单） include exclude Interpretat...
DataNode（面试开发重点3）
翁老师的教学团队
03-25 372
5 退役旧数据节点 让DateNode退役有两种方式： 一，白名单 二，黑名单 可以通过白名单来添加节点，通过黑名单来删除节点 不允许白名单和黑名单中同时出现同一个主机名称 添加白名单 添加到白名单的主机节点，都允许访问NameNode，不在白名单的主机节点，都会被退出。 配置白名单的具体步骤如下： （1）在NameNode的/opt/module/hadoop-2.7.2/etc/hadoop目录下创建dfs.hosts文件 cd /opt/module/hadoop-2.7.2/etc/hadoop v
HDFS黑名单退役服务器
最新发布
zhongmingyu
03-13 1458
黑名单：表示在黑名单的主机IP地址不可以，用来存储数据。企业中：配置黑名单，用来退役服务器。添加如下主机名称（要退役的节点）
HDFS中服役与退役数据节点
a1786742005的博客
02-04 442
一、服役新数据节点 1、需求        随着公司业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。 2、环境准备 (1) 在 hadoop153 主机上再克隆一台 hadoop154 主机 (2) 修改 hadoop153 的ip地址和主机名称 (3) 修改...
HDFS(九)：服役和退役节点
05-07 206
1 服役新数据节点 需求： 随着公司业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。 1.1 环境准备 （1）克隆一台虚拟机 （2）修改ip地址和主机名称 （3）修改xcall和xsync文件，增加新增节点的同步 （4）删除原来HDFS文件系统留存的文件(还有ssh) /opt/module/hadoop-2.7.2/da...
hadoop - 节点的服役和退役（HDFS）
走走停停的专栏
09-27 550
1. 首先需要克隆一台主机 现在我这里已经有五台虚拟机，要克隆的目标主机为CentOS7-1810_04： 启动集群后webUI如下： 把要克隆的目标虚拟机关机，在VMware上选中目标主机 -> 右键 -> 管理 -> 克隆： 然后下一步，选择克隆自：虚拟机中的当前状态： 继续下一步，克隆方法选择：创建完整克隆： 继续下一步，修改虚拟机名称和位置： 然后选择完成...
大数据-hdfs-退役数据旧节点-方法步骤
橙汁糖的博客
11-12 317
步骤： 第一步：创建dfs.hosts.exclude配置文件（黑名单） 在namenod的cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop目录下创建dfs.hosts.exclude文件，并添加需要退役的主机名称 主节点执行以下命令： cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop ...
【hadoop】14.HDFS-服役节点与退役节点
weixin_34174132的博客
01-12 228
2019独角兽企业重金招聘Python工程师标准>>> ...
加速HDFS集群 RaidNode数据 退役的方法
呼吸
03-13 332
加速集群退役的方法，结合以往的经验和当前的信息看，阻碍集群退役的block都是RaidNode数据。
DataNode退役旧数据节点
qq_43193797的博客
01-04 301
俩种方式（1）NameNode通过配制文件指定DataNode添加白名单                     （2）NameNode通过配制文件指定DataNode添加黑名单，退役会将当前节点中保存的块进行转移！ 添加白名单        添加到白名单的主机节点，都允许访问NameNode，不在白名单的主机节点，都会被退出。 配置白名单的具体步骤如下： （1）在NameNode的/o...
HDFS服役新节点数据&退役节点
mengxianglong123的博客
07-28 440
一、服役新数据节点 1. 需求 随着公司业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。 2. 环境准备 （1）在hadoop104主机上再克隆一台hadoop105主机 （2）修改IP地址和主机名称 （3）删除原来HDFS文件系统留存的文件（/opt/module/hadoop-3.1.3/目录下的data和log目录） （4）source一下配置文件 [atguigu@hadoop105 hadoop-3.1.3]$ source /
hdfs节点距离怎么算
03-12
HDFS节点距离可以通过计算两个节点之间的网络距离来确定。网络距离可以通过测量两个节点之间的延迟时间或者网络带宽来计算。在Hadoop集群中，通常使用ping命令或traceroute命令来测量节点之间的网络延迟和带宽。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值