解决HDFS Decommission退服慢的问题

最新推荐文章于 2022-02-27 18:48:08 发布
最新推荐文章于 2022-02-27 18:48:08 发布
阅读量1k 收藏
点赞数
分类专栏： HDFS
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/arli_xu/article/details/108798590
版权

参考资料:

https://bbs.huaweicloud.com/forum/thread-73286-1-1.html

处理步骤:

退服时副本是迁移的速度受如下三个配置影响

dfs.namenode.replication.work.multiplier.per.iteration   每次复制的块的个数为dn的个数*该参数
dfs.namenode.replication.max-streams  进行复制任务分配时，单个DN人队伍的最大值
dfs.namenode.replication.max-streams-hard-limit  若DN的复制任务大于该值时，不会将其选为复制的源节点

默认值可以在hadoop官网查到:

https://hadoop.apache.org/docs/r3.1.4/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

配置项默认值建议值

dfs.namenode.replication.work.multiplier.per.iteration

264

dfs.namenode.replication.max-streams

264

dfs.namenode.replication.max-streams-hard-limit

4128

修改后，需要重启NameNode生效。

杨五五
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop - 节点的服役和退役（HDFS）
走走停停的专栏
09-27 534
1. 首先需要克隆一台主机 现在我这里已经有五台虚拟机，要克隆的目标主机为CentOS7-1810_04： 启动集群后webUI如下： 把要克隆的目标虚拟机关机，在VMware上选中目标主机 -> 右键 -> 管理 -> 克隆： 然后下一步，选择克隆自：虚拟机中的当前状态： 继续下一步，克隆方法选择：创建完整克隆： 继续下一步，修改虚拟机名称和位置： 然后选择完成...
HDFS的DN退役以及如何加快DN退役速度
weixin_44976835的博客
08-20 611
首先看一下选择复制源节点的源码： /** * Parse the data-nodes the block belongs to and choose one, * which will be the replication source. * * We prefer nodes that are in DECOMMISSION_INPROGRESS state to other nodes * since the former do not have write traf
HDFS Decommission退服慢的问题
zhaozuoyou的博客
12-23 453
dfs.namenode.replication.work.multiplier.per.iteration 每次复制的块的个数为dn的个数*该参数 dfs.namenode.replication.max-streams 进行复制任务分配时，单个DN人队伍的最大值 dfs.namenode.replication.max-streams-hard-limit 若DN的复制任务大于该值时，不会将其选为复制的源节点 <property> <name>dfs.namen
hadoop decommission 非常慢的问题
houzhizhen的专栏
01-19 1672
找到以下文件 /hadoop-hdfs-project/hadoop-hdfs/src/main/java/org/apache/hadoop/hdfs/server/blockmanagement/UnderReplicatedBlocks.java 找到以下方法： public synchronized List> chooseUnderReplicatedBlocks(找到以下代
Hadoop系列十之HDFS节点的服役和退役
weixin_43497829的博客
02-26 397
1.服役新数据节点 随着工资业务的增长，数据量越来越大，烟油的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。 1.1 环境准备 （1）在hadoop103主机上再克隆一台hadoop104主机 （2）修改IP地址和主机名称 （3）删除原来HDFS文件系统留存的文件（/opt/module/hadoop-3.1.3/data和log） （4）source一下配置文件 [JL@hadoop104 hadoop-3.1.3]$ source /etc/profile 1.2
完美解决python针对hdfs上传和下载的问题
12-17
当我们使用python的hdfs包进行上传和下载文件的时候，总会出现如下问题 requests.packages.urllib3.exceptions.NewConnectionError:<requests>: Failed to establish a new connection: [Errno -2] Name or service...
解决sqoop2导入hdfs单引号问题
11-26
使用sqoop2从mysql导入hadoop时，导入的数据带单引号。是由于sqoop2的一个bug导致，该包上传到sqoop_home/server/lib替换原来的jar包后，重启sqoop server，即可解决。
FacebookMessages系统问题与解决方案
03-01
然而架设在HDFS之上的HBase设计的初衷却是为了解决海量数据的随机读写的请求。把这两种设计初衷截然相反的组件怎么揉在一起的呢？这种分层的结构设计主要是为了使架构更清晰，HBase层和HDFS层各司其职；但是却带来了...
HDFS DataNode节点服役退役
weixin_43326165的博客
09-11 697
新节点服役 前期准备 准备一台新的虚拟机环境和集群机器环境相同 修改主机IP和主机名称 删除hadoop目录下的data 和log文件夹 配置hdfs和yarn对于新节点的SSH免密登陆 新节点配置 在namenode节点上 etc/hadoop/目录下 新建dfs.hosts文件(文件名任意) 输入以下内容。hadoop104是新服务节点 hadoop101 hadoop102 h...
HDFS源码解析---Decommission
热门推荐
ssjdoudou的博客
08-17 3万+
HDFS Decommission introduction DecommissionManager管理数据节点停用。 后台监控线程定期检查正在进行停用的数据节点的状态。 源码分析 /** * Manage node decommissioning. * 节点Decommission操作状态管理器 */ class DecommissionManager { static final Log LOG = LogFactory.getLog(DecommissionManager..
大数据系列之Hadoop知识整理（五）Hdfs节点的服役与退役
spark798的博客
06-25 256
Hdfs节点的服役与退役也就是节点的新增与删除。其中退役也就是把节点放在黑名单里，并且从白名单中删除，服役就是在白名单中新加入节点 具体配置如下： 黑白名单的组合情况 ------------------------- include //dfs.include（白名单） exclude //dfs.hosts.exclude（黑名单） include exclude Interpretat...
HDFS服役新数据节点和退役旧节点步骤
赵广陆
12-07 876
目录1 背景2 动态扩容、节点上线2.1 新机器基础环境准备2.1.1 主机名、IP2.1.2 Hosts映射2.1.3 防火墙、时间同步2.1.4 SSH免密登录2.1.5 JDK环境配置2.2 Hadoop配置2.2.1 NameNode节点配置2.3 手动启动DataNode进程2.4 Hadoop Web页面查看2.5 DataNode负载均衡服务3 动态缩容、节点下线3.1 添加退役节点3.2 刷新集群3.3 手动关闭DataNode进程3.4 DataNode负载均衡服务4 黑白名单机制4.1
HDFS Decommission问题分析
weixin_34026484的博客
05-30 486
本文通过更改配置及数据结构改造，快速解决HDFS Decommission缓慢问题。上篇文章回顾：记一次Open-Falcon-Graph频繁OOM问题排查背景c3prc-xiami有大量raid单副本文件，decommission单个datanode速度很慢，观察监控指标，发现：网卡流量始终保持低速，60~80mb/s磁盘io util也是单个磁盘100%在某一个时刻，也即是同一时间只有一个磁盘...
hadoop退服节点
小菜鸟的成长之路
04-14 295
其实网上有很多了，但是说的都不详细。今天我自己测试了一次，把测试结果发布出来： 首先，你的集群肯定是在运行中。并且已经退出的安全模式。 在HADOOP_HOME下新建一个文件，例如slaves.ex，在里面添加需要退服的名称节点的IP地址，一行一个。 然后配置HADOOP_HOME/conf下的hdfs-site.xml添加dfs.host.exclude属性，在value值下写slaves...
优化Hadoop Balancer平衡的速度
DataFlow范式
08-30 5708
之前我在博客中介绍了HDFS的Block数据balancer重分布实战内容：http://blog.csdn.net/jiangshouzhuang/article/details/51879102 本篇文章我们再来简单介绍一下优化Hadoop Balancer平衡的速度涉及到的几个重要参数。1.  dfs.datanode.max.transfer.threads修改dfs.datanode.m
datanode节点下线/删除/退役 Decommission Datanode
leone911的博客
07-12 8011
节点退役 Decommission DatanodeDecommission Datanode就是把Datanode从HDFS集群中移除掉。 Datanode是存储实际数据的，因此在Decommission Datanode的时候需要把Datanode上的数据迁移到别的机器上。下线的时候Datanode会有以下操作，1：计算块信息 2：删除块 3：copy块 4：校验块信息操作步骤 1：在Nam
DataNode Decommission
mnasd的博客
07-13 1012
参考文档：https://www.cloudera.com/documentation/enterprise/5-10-x/topics/cm_mc_decomm_host.html⚠️注意1.如果复制因子是3，每次最多退役2台DataNode；2.在退役之前要通过fsck检查块的状态，解决块异常；3.退役DataNode需要移动大量的数据，会对性能有影响，且耗时一般比较长； 一、进入要被退役的D...
【Hadoop】DataNode Decommision
康师傅没有眼泪
02-27 1374
Hadoop集群中管理员经常需要向集群中添加节点，或从集群中移除节点，例如:为了扩大存储容量，需要上线一个境界点，相反的，如果想要缩小集群规模，则需要解除节点，如果某些节点出现反常，例如故障率过高或者性能过于低下，则需要下线节点，在上线新节点(而且保证不关闭集群和不损害集群中某一天机器的数据节点数据块丢失情况下)，我们需要采用以下方式来解决这些问题。若DN 的复制任务大于改值时，不会将其选为复制的源节点。每次复制的块的个数为 dn的个数* 该参数。进行复制任务分配时，单个DN 任务的最大值。
编程解决文件上传HDFS的问题
最新发布
06-02
要编写一个程序将文件上传到HDFS，可以使用Hadoop API提供的类和方法来实现。以下是一个Java代码示例： ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import java.io.IOException; import java.io.InputStream; import java.net.URI; public class HdfsUploader { public static void main(String[] args) throws IOException { //设置Hadoop配置信息 Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://localhost:9000"); //获取HDFS文件系统对象 FileSystem hdfs = FileSystem.get(URI.create("hdfs://localhost:9000"), conf); //本地文件路径 String srcPath = args[0]; //HDFS文件路径 String dstPath = args[1]; //打开本地文件输入流 InputStream in = new FileInputStream(srcPath); //创建HDFS文件输出流 Path dst = new Path(dstPath); OutputStream out = hdfs.create(dst); //将本地文件复制到HDFS文件 IOUtils.copyBytes(in, out, 4096, true); //关闭输入输出流 in.close(); out.close(); } } ``` 在这个示例中，我们创建了一个HdfsUploader类，它将本地文件上传到HDFS。在main方法中，我们首先设置Hadoop配置信息，然后获取HDFS文件系统对象。接下来，我们指定本地文件路径和HDFS文件路径，并打开本地文件输入流。我们创建了一个HDFS文件输出流，然后使用IOUtils.copyBytes方法将本地文件复制到HDFS文件。最后，我们关闭输入输出流。 注意，要运行此程序，您需要在Hadoop集群上配置好环境，并且您的Java项目需要包含hadoop-common和hadoop-hdfs客户端依赖项。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值