数据节点下线

于 2024-04-24 17:31:17 发布
阅读量273 收藏 3
点赞数 3
文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jiedaodezhuti/article/details/138165069
版权

    由于公司近期需要将机械盘替换成SSD盘,SSD盘又不足,需要下线部分数据节点.刚开始是直接粗暴的关掉了4个节点上的datanode服务,出现很多丢失的数据块,执行hql时出现无法获取数据块执行失败;
经过排查原因集群副本设置的是2,直接关闭会导致副本来不及复制就关掉.
正确的关闭方式如下:
首先关闭一台,使用检查块的命令查看复制块复制进度,具体命令如下:
```
hdfs fsck / -files -blocks
```
等到如下指标为0时,再关掉下一台
```
Missing replicas:              0 (0 %)

jiedaodezhuti
关注
在hadoop集群DataNode动态服役、下线节点
qq_53169545的博客
06-20 987
（2）如果你在一台节点上修改了相关的配置，记得分发到全部集群上去，确保整个集群的配置环境是一致的。（b）在第一步的条件下，将新增的datanode配置到集群，并可以在HDFS UI页面可查。②最好不要把所有的副本放到一个机架上的不同dataNode节点上（数据的安全性不那么高）（a）假设你现有的datanode有两台节点，现准备一台新的datanode。（c）在第二步的基础下，将新增的datanode杀死，并将其退出服役的截图。（3）我们需要hdfs dfs，这个是运行HDFS的文件系统。
hadoop集群节点下线/上线
jiedaodezhuti的博客
04-04 748
在生产环境中，会碰到hadoop集群DataNode/NodeManager的节点下线/上线。如果强制下线节点会影响到线上作业，而且还会影响到hdfs上数据丢失的风险。面对线上节点的上线/下线，hadoop提供了平滑下线/上线的机制。 本集群为一个主节点master，两个从节点slave1,slave2. 1.下线DataNode 1.1 在namenode节点的hdfs-site.xml中增加配...
datanode下线和宕机
yx_keith的博客
04-18 2710
一、datanode宕机 datanode宕机后，hdfs会将缺失的block根据副本因子数再复制一份，宕机的datanode恢复之后，该datanonde上多余的块不会立即删除，因为hdfs block数量有一个上线，一般会大于副本因子，只要block数量不超过上线，hdfs不会删除多余的block，除非手动出发balancer。 二、datanode下线 datanode下线过程中，由于需要快...
hdfs 如何实现退役节点快速下线（也就是退役节点上的数据块快速迁移）speed up decommission blocks removal...
weixin_30420305的博客
09-17 820
hdfs 如何实现退役节点快速下线（也就是退役节点上的数据块快速迁移）speed up decommission blocks removal 以下是选择复制源节点的代码 代码总结： A=datanode上要复制block的Queue size与 target datanode没被选出之前待处理复制工作数之和。 1. 优先选择退役中的节点，因为...
HDFS的⼯作机制及动态上下线
CyAurora的博客
07-17 483
目录 1. 开机启动Namenode过程 1.1. ⾮第⼀次启动集群的启动流程 1.2. 第⼀次启动集群的启动流程 2. 安全模式介绍 3. DataNode与NameNode通信(⼼跳机制) 4. SecondayNamenode的⼯作机制(检查点机制) 5. ⽹络拓扑 6. 机架感知 7. 节点动态上线 7.1. 属性说明 7.2. 动态上线步骤 8. 节点动态下线 8.1. 属性说...
【Hadoop】节点的上线、下线
m0_37956758的博客
09-22 879
hadoop节点的上下线
CDH5.9.0节点删除下线
12-19
在CDH5.9.0集群环境中，有时由于硬件更新、资源优化或故障处理等原因，可能需要删除或下线部分节点。以下是一个详尽的步骤指南，帮助你安全地从CDH5.9.0集群中移除节点。 首先，确保你已经了解了CDH（Cloudera ...
CDH 使用 CM下线节点
mc的博客
02-10 2115
本文档为cdh集群，下线/上线节点操作文档。 CM 集群下线节点，主要参考官方文档： 操作前调优文档： https://docs.cloudera.com/documentation/enterprise/6/latest/topics/cm_mc_decomm_host.html#concept_urw_wyw_cy 操作文档：https://docs.cloudera.com/documentation/enterprise/6/latest/topics/cm_mc_host_maint.html#
ES集群节点下线，Java API TCP连接写入数据异常
SPlus_SS的博客
01-21 637
ES集群周六的时候因一个节点硬盘故障（新加入的三个节点，硬盘是比较新的产品出现了BUG），运维做了下线处理 按说一个6节点的ES集群，只是下线了一个节点，不应该会有特别大的影响（少了一个节点，分片少了一个写数少1/6左右的时间属于正常范围） 但是出现了线上跑数任务只要跟写ES有关系的时间都翻了好几倍，整个流程慢了9H 图一是正常的情况 图二是异常情况 15m 34s -> 55m 0s ↑ 40min 9m 31s -> 2h 3m 36s ↑
hadoop节点下线的问题
硅谷工具人
11-29 203
注意：以下操作都是理论上的，由于我安装的是apache hadoop3.1.3 原生版本，所以按照以下操作时，全部不生效 最后只能通过手工停止datanode，nodemanger，停止节点。然后修改works，在HA模式下，先停1个namenode，然后重启。再停另外个namenode，再重启。 20230214: 第二次操作生效了！！！！。不同点在于需要将两个namenode节点中的wo...
hadoop、hbase节点下线
u011250186的博客
12-28 981
hadoop、hbase节点下线
【Hadoop】DataNode节点下线速度优化
康师傅没有眼泪
12-31 2559
具体上面参数的值设定的多少，取决于集群的规模和集群的配置，不能同一而论。几十T， 甚至上百T， 上百万block的节点掉线，会出现大量的RPC风暴，在我们存在大量小文件的集群对namenode是很大的挑战，不仅影响生产性能，也会存在很大的隐患，尤其是对于带宽有限制瓶颈的集群。然后namenode根据该节点的ip，查出该节点所有的blockid，以及对应副本所在机器，通过心跳机制安排数据复制，这时候数据的复制，数据源不在是掉线节点，而是多个副本之一所在的节点，同样这时候副本复制也遵循机架感知，副本搁置策略。
datanode节点下线/删除/退役 Decommission Datanode
leone911的博客
07-12 8076
节点退役 Decommission DatanodeDecommission Datanode就是把Datanode从HDFS集群中移除掉。 Datanode是存储实际数据的，因此在Decommission Datanode的时候需要把Datanode上的数据迁移到别的机器上。下线的时候Datanode会有以下操作，1：计算块信息 2：删除块 3：copy块 4：校验块信息操作步骤 1：在Nam
HDFS集群中DataNode的上线与下线
aohuang8877的博客
09-08 692
在HDFS集群的运维过程中，肯定会遇到DataNode的新增和删除，即上线与下线。这篇文章就详细讲解下DataNode的上线和下线的过程。 背景 在我们的微职位视频课程中，我们已经安装了3个节点的HDFS集群，master机器上安装了NameNode和SecondaryNameNode角色，slave1和slave2两台机器上分别都安装了DataNode角色。 我们现在来给这个HD...
Hadoop Datanode 节点下线/删除/退役/Decommission
cliuyang的专栏
02-28 3739
节点退役 Decommission Datanode Decommission Datanode就是把Datanode从HDFS集群中移除掉。 Datanode是存储实际数据的，因此在Decommission Datanode的时候需要把Datanode上的数据迁移到别的机器上。 下线的时候Datanode会有以下操作，1：计算块信息 2：删除块 3：copy块 4：校验块信息 操作步骤 1：在Namenode上，把需要Decommission的Datanode的机器名加入到dfs.hosts.excl
【大数据开发】HDFS——配置时间同步、动态节点上线和下线
白色风车
08-14 616
一、配置时间同步 （1）安装命令ntp yum -y install ntp.x86_64 （2）配置ntpserver vi /etc/ntp.conf yy复制一行 p粘贴 #restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap restrict 192.168.10.131 mask 255.255.255.0 nomodify notrap 修改结果如下图 （3） 启动ntp协议并查看状态 systemctl start ntpd s
Hadoop 生产环境集群平滑下线节点（datanode/tasktracker or nodemanager）
zqfzxm的博客
06-03 5286
如题，生产环境下可能会碰到下线服务器需求，强制关闭tasktracker or nodemanager影响的只是作业，但强制下线大于HDFS备份数的datanode就有丢数据的风险了。Hadoop提供了平滑下线的工具，本文以2.2版本为例。
hdfs集群节点的服役和退役（上线 下线）
fantasticqiang的博客
06-02 4588
问题描述我们在维护hadoop集群的时候，需要动态增加和删除datanode或者yarn管理节点，而不是停掉整个集群。首先，hadoop配置文件目录下的hdfs-site.xml中维护这集群“白名单”和“黑名单”两个文件，如果没有的话需要在配置文件中添加这两个属性。<property>   <!-- 白名单信息--> <name>dfs.hosts</...
rocketmq 节点下线
最新发布
11-28
在RocketMQ中，节点下线可以通过以下步骤进行平滑运维： 1. 将该节点的broker配置文件中的`brokerRole`属性设置为`SLAVE`，并重启该节点的broker服务。 2. 等待一段时间，确保该节点的所有消息都被同步到其他节点。 3. 将该节点从集群中摘除，具体操作如下： - 在NameServer的控制台中，将该节点的IP地址从`brokerAddr`列表中删除。 - 在该节点的broker配置文件中，将`brokerRole`属性设置为`ASYNC_MASTER`，并重启该节点的broker服务。 - 等待一段时间，确保该节点的所有消息都被同步到其他节点。 - 最后，将该节点从集群中彻底删除。 另外，为了保证集群的高可用性，建议在搭建RocketMQ集群时，将每个broker节点都配置为`ASYNC_MASTER`和`SLAVE`双重角色，这样即使某个节点发生故障，也可以通过其他节点的备份数据来保证消息的可靠性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值