优化Hadoop Balancer运行速度

最新推荐文章于 2024-06-27 19:55:36 发布
最新推荐文章于 2024-06-27 19:55:36 发布
阅读量6.8k 收藏 1
点赞数 1
分类专栏： ● Hadoop --------【Hadoop优化】 文章标签： 优化Hadoop Balancer运行速度
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/odailidong/article/details/51434983
版权
本文介绍了如何优化Hadoop Balancer的运行速度，包括修改`dfs.datanode.max.transfer.threads`、`dfs.datanode.balance.bandwidthPerSec`和`dfs.datanode.balance.max.concurrent.moves`等参数，以及临时生效的方法。同时，文章还详细阐述了Hadoop Balancer的执行步骤，帮助理解其工作原理。
摘要由CSDN通过智能技术生成

 

1. 修改dfs.datanode.max.transfer.threads = 4096 (如果运行hbase的话建议为16384)，指定用于在DataNode间传输block数据的最大线程数，老版本的对应参数为dfs.datanode.max.xcievers

2. 修改dfs.datanode.balance.bandwidthPerSec  = 52428800，指定DataNode用于balancer的带宽为50MB，这个示情况而定，如果交换机性能好点的，完全可以 设定为100MB，单位是Byte，如果机器的网卡和交换机的带宽有限，可以适当降低该速度，默认是1048576(1MB)

  临时生效的办法：


hdfs dfsadmin -setBalancerBandwidth 50000000

Balancer bandwidth is set to 50000000 for hadoop001/192.168.X.X:8020

注：
   -setBalancerBandwidth <bandwidth in bytes per second>

然后执行balancer命令，只对当前生效

3.修改dfs.datanode.balance.max.concurrent.moves = 50，指定DataNode上同时用于balance待移动block的最大线程个数，这个值默认是5

最低0.47元/天 解锁文章
代立冬
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
绝对完美解决hdfs datanode数据和磁盘数据分布不均调整（hdfs balancer ）——经验总结
赵英超的博客
02-04 1879
hdfs 需要存写大量文件，有时磁盘会成为整个集群的性能瓶颈，所以需要优化 hdfs 存取速度，将数据目录配置多磁盘，既可以提高并发存取的速度，还可以解决一块磁盘空间不够的问题。大数据Hadoop之——Hadoop 3.3.4 HA（高可用）原理与实现（QJM）
hadoop balancer - dfs.balance.bandwidthPerSec
qq_41802055的博客
06-25 567
dfs.balance.bandwidthPerSec默认设置：1048576(1M/S) 参数含义：设置balance工具的运行中所能占用的带宽，设置的过大可能会造成mapred运行缓慢。 设置该参数需要修改hdfs-site.xml文件： <property> <name>dfs.balance.bandwidthPerSec</name> <value>20971520</value> </property> 上面是设
Hadoop Balancer运行速度优化
TURING.DT
09-14 8538
1.修改dfs.datanode.max.transfer.threads = 4096 (如果运行hbase的话建议为16384)，指定用于在DataNode间传输block数据的最大线程数，老版本的对应参数为dfs.datanode.max.xcievers 2.修改dfs.datanode.balance.bandwidthPerSec  = 31457280 ,指定DataNode用
Hadoop优化
最新发布
weixin_65434097的博客
06-27 700
Mapreduce 程序效率的瓶颈在于两点：1）计算机性能CPU、内存、磁盘健康、网络2）I/O 操作优化（1）数据倾斜（2）map和reduce数设置不合理（3）reduce等待过久（4）小文件过多（5）大量的不可分块的超大文件（6）spill次数过多（7）merge次数过多等。（1）合并小文件：在执行mr任务前将小文件进行合并，大量的小文件会产生大量的map任务，增大map任务装载次数 ，而任务的装载比较耗时 ，从而导致 mr 运行较慢。
hdfs - balancer学习
cclovezbf的博客
06-27 3489
balance是啥，顾名思义 是个平衡器主要是平衡各个datanode之间的使用 网上的文档一个比一个写的6结果，有的命令都拼错了。。。而且你知道究竟平衡的是啥么直接上官网Apache Hadoop 3.2.2 – HDFS Commands Guidehttps://hadoop.apache.org/docs/r3.2.2/hadoop-project-dist/hadoop-hdfs/HDFSCommands.html#balancer--查看balance 也就是集群之间转移数据的速度hdfs df
hadoop集群维护手册.pdf
07-14
在使用 start-balancer.sh 命令时，如果在 hdfs-site.xml 文件中没有配置 dfs.balance.bandwidthPerSec 参数，那么集群将使用默认的 1M/S 速度来平衡数据。 四、Hadoop 版本升级 Hadoop 版本升级需要注意以下几点...
Hadoop分布式文件系统的文件读写
10-29
4. **负载均衡**：定期运行`hadoop balancer`命令，确保DataNodes间的磁盘空间均衡。 通过以上对Hadoop文件读写、文件属性和目录操作的解析，我们可以理解HDFS如何高效、安全地处理大规模数据。在实际应用中，理解...
hadoop命令指南
03-19
hadoop balancer [-threshold ] [-online] [-move ] [-exclude ] [-include ] [-verbose] [-conf ] [-D ] ``` **参数说明**： - `-threshold <threshold>`：设置阈值。 - `-online`：在线平衡。 - `-move ...
HBase 应用平台 balancer 功能
08-03
总之，HBase的`balancer`功能是保证集群高效运行的关键组件。它通过智能地重新分配Region来确保数据的均衡分布，从而提高服务的响应速度和系统可用性。深入理解balancer的工作机制和配置，对于优化HBase集群的性能至...
hadoop—集群维护手册分享.pdf
12-17
在使用 start-balancer.sh 时，如果在 hdfs-site.xml 里面没有配置 dfs.balance.bandwidthPerSec，那么集群 hdfs 内部默认使用 1M/S 的速度移动数据，可以通过配置 dfs.balance.bandwidthPerSec 来加快 balance 的...
Hadoop-balancer执行原理
...
01-28 228
  核心类在 org.apache.hadoop.hdfs.server.balancer.Balancer   均衡算法 伪代码 while(true) { 1.获取需要迁移的字节数 if(需要迁移字节数 == 0) { return "成功，无需迁移"; } 2.选择需要迁移的节点 if(需要移动的数据 == 0) { return "没有需要...
提高Hadoop Balancer 迁移block速度的方法
wisgood的专栏
08-22 5706
如何提高Hadoop Balancer迁移block的速度？ 1）增加DataNode用于balancer的bandwidth。 dfs.datanode.balance.bandwidthPerSec 52428800 这个值是DataXceiverServer上BlockBalanceThrottler控制的带宽大小。该单位是Byte，如果机器的网卡和交换机的带宽有限，可以
hadoop Balance 优化经验
breakout_alex的博客
11-20 729
前言 为了不影响业务的正常运行，hdfsbalancer的默认参数都比较小（宽带，并发等），在集群规模比较大，数据不均衡情况比较严重时（例如：上线大量新节点），使用hdfsbalancer无法快速缓解问题，极端情况下，会导致很多节点存储用满，严重影响集群稳定性，且hadoop的一些小版本的balancer都存在一定的bug，本篇文章主要分享下关于hadoopbalancer的一些优化经验...
HDFS Balance调优参数设置
hongtaq156136的专栏
01-29 5406
问题背景与现象 当HDFS集群各个DataNode存储的数据不均衡时，需要使用hdfs balance功能，调整相关参数可以提升balance性能。 操作步骤 修改如下参数：   dfs.datanode.balance.bandwidthPerSec =209715200 说明： 该参数限定每个DataNode用来平衡数据时，占用带宽的上限； 这个参数的调整要看组网情况，如...
Hadoop之 Balancer平衡速度
weixin_33860737的博客
11-14 221
1. dfs.datanode.max.transfer.threads 修改dfs.datanode.max.transfer.threads=4096 (如果运行HBase的话建议为16384)， 指定用于在DataNode间传输block数据的最大线程数，老版本的对应参数为dfs.datanode.max.xcievers。 2. dfs.da...
HDFS一些参数的设置说明
热门推荐
victory0508的专栏
02-27 1万+
1. dfs.datanode.du.reserved 每块磁盘保留的空余空间，应预留一些给非hdfs文件使用，默认值为0，其单位为字节。那么实际可用于HDFS的存储空间就是；总存储空间-dfs.datanode.du.reserved。 如果此参数配置为10G，则df -h得出如下结果： Filesystem            Size  Used Avail Use%
dfs.datanode.max.xcievers&dfs.datanode.max.transfer.threads介绍
tomson8975的博客
08-10 9856
前言：          这篇文章主要是介绍这个参数是什么意思，他的作用和估值的参考方法。（参考自：http://blog.cloudera.com/blog/2012/03/hbase-hadoop-xceivers/）          (dfs.datanode.max.xcievers和dfs.datanode.max.transfer.threads都是指的一个参数不过前者是
HDFS 参数调优
记录点点滴滴
05-26 2637
HDFS 参数调优NameNode 数据目录DataNode 数据目录数据块的副本数数据块大小HDFS 做均衡时使用的最大带宽磁盘可损坏数数据传输连接数NameNode 处理 RPC 调用的线程数NameNode 处理 DataNode 上报数据块和心跳的线程数DataNode 处理 RPC 调用的线程数DataNode 最大传输线程数读写数据时的缓存大小冗余数据块删除新增块延迟汇报增大同时打开的文件描述符和网络连接上限 NameNode 数据目录 本地文件系统路径，决定 NN 在何处存放 fsimage
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值