加速HDFS集群 RaidNode数据 退役的方法

已于 2023-03-13 11:28:12 修改
阅读量356 收藏
点赞数 1
分类专栏： HDFS 大数据 文章标签： hdfs hadoop 大数据
于 2023-03-13 11:25:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaoshazheng/article/details/129489349
版权
文章提出了加速HDFS集群中RaidNode数据退役的方法，包括增加退役节点数以减少中转量，优先迁移Raid数据，关闭Raid功能以提升效率，并调整退役策略，如在NameNode端动态平衡DataNode数量，以解决退役过程中的瓶颈问题。
摘要由CSDN通过智能技术生成

加速HDFS集群 RaidNode数据 退役的方法

加速集群退役的方法，结合以往的经验和当前的信息看，阻碍集群退役的block都是RaidNode数据。

减少退役的数据的中转量

1 增加每次退役的节点数 （一次退役100台节点运输的数据量要比二次退役50台节点的运输量大，有中间转移的消耗）

2 边退役边迁移，优先迁移raid数据（减少数量的总量）

针对RaidNode数据的block卡住

1 关闭raid，所有数据升三副本

2 暂时关闭 RaidNode的移动block功能，hdfs.raid.block.move.simulate来设置为true。

针对退役的瓶颈问题

目前看退役的瓶颈在DataNode端，目前是一次性添加若干节点，直到退役完。可以修改在NameNode端维持一定数量的DataNode，退役一台DataNode就在NameNode端添加一台，脚本可以参考如下。

加速HDFS集群 RaidNode数据 退役的方法

[外链图片在这里插入图片描述

become__better
关注
专栏目录
Hadoop系列十之HDFS节点的服役和退役
weixin_43497829的博客
02-26 467
1.服役新数据节点 随着工资业务的增长，数据量越来越大，烟油的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。 1.1 环境准备 （1）在hadoop103主机上再克隆一台hadoop104主机 （2）修改IP地址和主机名称 （3）删除原来HDFS文件系统留存的文件（/opt/module/hadoop-3.1.3/data和log） （4）source一下配置文件 [JL@hadoop104 hadoop-3.1.3]$ source /etc/profile 1.2
HDFS的DN退役以及如何加快DN退役速度
weixin_44976835的博客
08-20 726
首先看一下选择复制源节点的源码： /** * Parse the data-nodes the block belongs to and choose one, * which will be the replication source. * * We prefer nodes that are in DECOMMISSION_INPROGRESS state to other nodes * since the former do not have write traf
HDFS的节点退役
王傲旗的大数据之路
11-06 4795
1.创建黑名单配置文件 进入到hadoop安装目录下etc/hadoop/ touch dfs.hosts.exclude 2.添加黑名单配置到 hdfs-site.xml中 3.将退役节点的ip在白名单中移除 vim dfs.hosts 4.将退役节点ip在黑名单中添加 vim dfs.hosts.exclude 5.将文件在slaves中移除 vim slaves 6.刷新集群状态 ...
HDFS之退役旧数据节点
ITBOY_ITBOX博客
05-10 411
方式一：添加白名单 添加到白名单的主机节点，都允许访问NameNode，不在白名单的主机节点，都会被退出。白名单更严格一些 配置白名单的具体步骤如下： （1）在NameNode的/opt/module/hadoop-2.7.2/etc/hadoop目录下创建dfs.hosts文件 [atguigu@hadoop102 hadoop]$ pwd /opt/module/hadoop-2....
HDFS服役和退役数据节点
qq_45973211的博客
09-08 314
服役退役数据节点
hdfs集群间数据交换.zip
01-04
在HDFS集群间进行数据交换通常有以下几种方法： 1. **HDFS复制工具**：Hadoop提供了`hadoop fs -cp`或`hadoop distcp`命令，可以用来在不同集群间复制文件或目录。`-cp`命令适用于小规模的数据迁移，而`distcp`则更...
hdfs集群间数据交换_HdfsDataExchanger.zip
最新发布
09-15
hdfs集群间数据交换_HdfsDataExchanger
一种跨HDFS集群的文件资源分布式高效存储方法.pdf
08-08
该方法利用HDFS的集群文件资源特征，优化了资源的分布配置，保证了文件资源存储环境的安全性。通过改进HDFS的标准布局方案，兼顾了设备的物理特性，实现了文件资源存储的自定义功能。 文件合并与映射计算元数据 在...
一种跨HDFS集群的文件资源分布式高效存储方法
01-12
针对传统文件资源存储方法存在存储效率低的问题，提出了一种跨HDFS集群的文件资源分布式高效存储方法。依据HDFS集群文件资源特征及存储原理，分析资源分布式存储的逻辑关系，保证文件资源存储环境安全。依据标准...
HDFS跨集群的数据迁移
weixin_44976835的博客
09-16 4658
迁移之前需要先考虑的事： 迁移总数据量 新老集群之间的最大带宽，在减少业务影响条件下最多可以使用多少带宽 在迁移过程中如何限制使用带宽 在迁移过程中，哪些文件可能发生删除、新增数据的情况。 迁移过程中，那些目录可能会发生新增文件的情况 迁移后的数据一致性校验 迁移后HDFS文件权限与老集群保持一致 迁移方案： 1.迁移数据量评估 通过hdfs dfs -du -h /命令查看各目录总数据量。按照业务划分，统计各业务数据的总量 2.指定迁移节奏 因为数据量大，而且带宽有限，所以在HDFS文件变化之前全部迁
HDFS黑名单退役服务器
zhongmingyu
03-13 1471
黑名单：表示在黑名单的主机IP地址不可以，用来存储数据。企业中：配置黑名单，用来退役服务器。添加如下主机名称（要退役的节点）
DataNode（面试开发重点3）
翁老师的教学团队
03-25 384
5 退役旧数据节点 让DateNode退役有两种方式： 一，白名单 二，黑名单 可以通过白名单来添加节点，通过黑名单来删除节点 不允许白名单和黑名单中同时出现同一个主机名称 添加白名单 添加到白名单的主机节点，都允许访问NameNode，不在白名单的主机节点，都会被退出。 配置白名单的具体步骤如下： （1）在NameNode的/opt/module/hadoop-2.7.2/etc/hadoop目录下创建dfs.hosts文件 cd /opt/module/hadoop-2.7.2/etc/hadoop v
hadoop 3.x 服役 | 退役数据节点
weixin_30509393的博客
09-05 166
在服役前要配置好新增主机的环境变量,ssh等信息,个人环境介绍 hadoop002(namenode),hadoop003(resourcemanager),hadoop004(secondarynamenode),准备新增hadoop005 一.服役数据节点 1.在namenode节点主机下的${HADOOP_HOME}/etc/hadoop/下创建dfs.hosts文件添加你要新增的主机...
大数据——手把手教你数据节点服役和退役
weixin_39971163的博客
08-02 586
6.5 服役新数据节点 0）需求： 随着公司业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。 1）环境准备 （1）克隆一台虚拟机 （2）修改ip地址和主机名称 （3）修改xcall和xsync文件，增加新增节点的同步 （4）删除原来HDFS文件系统留存的文件 /opt/module/hadoop-2.7.2/data 2）服役新...
HDFS服役新数据节点和退役旧节点步骤
赵广陆
12-07 994
目录1 背景2 动态扩容、节点上线2.1 新机器基础环境准备2.1.1 主机名、IP2.1.2 Hosts映射2.1.3 防火墙、时间同步2.1.4 SSH免密登录2.1.5 JDK环境配置2.2 Hadoop配置2.2.1 NameNode节点配置2.3 手动启动DataNode进程2.4 Hadoop Web页面查看2.5 DataNode负载均衡服务3 动态缩容、节点下线3.1 添加退役节点3.2 刷新集群3.3 手动关闭DataNode进程3.4 DataNode负载均衡服务4 黑白名单机制4.1
大数据-hdfs-退役数据旧节点-方法步骤
橙汁糖的博客
11-12 328
步骤： 第一步：创建dfs.hosts.exclude配置文件（黑名单） 在namenod的cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop目录下创建dfs.hosts.exclude文件，并添加需要退役的主机名称 主节点执行以下命令： cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop ...
[hadoop] HDFS的新节点上线和旧节点退役
朱同学的博客
09-26 380
新节点上线 1 准备一个全新的节点,使用root账户登录 2 修改ip和host主机名 3 在管理节点端配置SSH免密码登录 4 关闭防火墙 5 安装JDK,解压hadoop安装包并配置相关环境变量 6 将以前节点的hadoop配置文件同步到新节点 7 直接启动新节点的DataNode即可关联到集群 sbin/hadoop-daemon.sh start datanode sbin/yarn-da...
5.DataNode工作机制、数据完整性、数据结点服役退役
页川叶川
07-05 227
第9章 DataNode（面试开发重点） 9.1 DataNode工作机制 DataNode工作机制，如图3-15所示。 1)一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。 2）DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有的块信息。 3）心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或删除某个数据块。
集群退役旧数据节点
weixin_42796403的博客
11-16 269
集群退役旧数据节点 一、白名单退役 添加到白名单的主机节点，都允许访问NameNode，不在白名单的主机节点，都会被退出。 配置白名单的具体步骤如下： 1）在NameNode的/opt/module/hadoop-3.1.3/etc/hadoop目录下创建dfs.hosts文件 [hadoop@hadoop102 hadoop]$ pwd /opt/module/hadoop-3.1.3/etc/hadoop [hadoop@hadoop102 hadoop]$ touch dfs.hosts [hadoo
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值