优化Hadoop Balancer平衡的速度

原创 2016年08月30日 11:19:04

之前我在博客中介绍了HDFSBlock数据balancer重分布实战内容:

http://blog.csdn.net/jiangshouzhuang/article/details/51879102

 

本篇文章我们再来简单介绍一下优化Hadoop Balancer平衡的速度涉及到的几个重要参数。

1.  dfs.datanode.max.transfer.threads

修改dfs.datanode.max.transfer.threads=4096 (如果运行HBase的话建议为16384),指定用于在DataNode间传输block数据的最大线程数,老版本的对应参数为dfs.datanode.max.xcievers。

2.  dfs.datanode.balance.bandwidthPerSec

修改dfs.datanode.balance.bandwidthPerSec=52428800,指定DataNode用于balancer的带宽为50MB,这个根据情况而定,如果交换机性能好点的,完全可以设定100MB,单位是Byte,如果机器的网卡和交换机的带宽有限,可以适当降低该速度,比如10MB,默认是1048576(1MB)。

hdfs dfsadmin-setBalancerBandwidth 52428800

 

之前遇到一位朋友,他们公司的Hadoop生产环境上,HDFS分配非常不均匀,而且有的DataNode节点的磁盘使用率几乎100%了,导致一些作业报错。后来公司采取Hadoop balancer来对数据进行平衡操作,但是数据量太大,高达50T作业,所以采用Hadoop balancer方法进行平衡,需要的时间太长。

 

后来这位朋友咨询我,刚开始我是让他调整hadoop halancer的参数,比如线程数,带宽等,效果都没有那么明显,毕竟数据量太大。后面考虑到他们的数据副本为3,所以可以考虑将一些DataNode磁盘利用率太高的节点先下线操作(必须逐个节点操作,不可同时下线多个节点,防止数据丢失),即Decommission Datanode。完成下线后,再进行格式化数据磁盘操作,然后再将此DataNode添加到集群中,这样新的数据就会较快地同步过来。

 

最后,我们补充点Decommission Datanode相关知识。

Decommission Datanode主要有两个步骤:

1.  在Namenode上,把需要Decommission的Datanode的机器名加入到dfs.hosts.exclude(该配置项在hdfs-site.xml)所指定文件中,也就是告诉Namenode哪些Datanode要被Decommission。

 

把需要Decommission的节点写到文件/etc/hadoop/conf/dfs.exclude中去。

 

<property>   

<name>dfs.hosts.exclude</name>

<value>/etc/hadoop/conf/dfs_decommission.exclude</value>

</property>

 

2.  用如下命令启动Decommission

hdfs dfsadmin -refreshNodes

 

Decommission Datanode的时候需要保证在该Datanode移除以后,HDFS上的文件还能满足replica factor的最低要求。

 

比如,一个只有3个Datanode的HDFS集群,文件默认replica factor(dfs.replication参数设置)是3,那么移除任何一个Datanode都会导致某些文件不能满足replica factor的最低要求。当试图移除一个Datanode的时候,会一直处在Decommissioning的状态,因为它找不到别的机器来迁移它的数据了。这个问题通常容易出现在小集群上。

一个解决办法就是临时把相应文件的replica factor调低。

1. 用如下命令来查看HDFS中所有文件的replica factor

     hdfsfsck / -files -blocks

其中repl=1表示该文件的该block的replica factor为1。通过这个命令就可以找到那些replica factor比较高的文件了。

2 . 调整文件的replicafactor 

我们需要注意的是,replica factor是文件的属性,而不是集群的属性,也就是说同一个集群中的文件可以有不同的replica factor。因此,我们需要针对文件修改replica factor。对应的命令是:

hdfs dfs -setrep [-R] [-w] <rep><path>

其中

  • -R表示recursive,可以对一个目录及其子目录设置replica factor
  • <rep>表示需要设置的replica factor的值
  • <path>表示需要设置的replica factor的文件或目录路径
  • -w表示等待复制完成,可能需要等待很长时间
版权声明:本文为博主原创文章,未经博主允许不得转载。

HDFS节点内数据平衡:DiskBalancer

前言做集群运维的同学可能都会遇到这样一个问题:Hadoop集群使用久了,各个节点上的数据会变得不均衡,多的达到70,80%,少的就10,20%.面对这种场景,我们的办法一般就是用HDFS自带的Bala...
  • Androidlushangderen
  • Androidlushangderen
  • 2016年06月28日 15:12
  • 8747

hadoop datanode 磁盘数据平衡

Hadoop DataNode Disk Balance Hadoop 支持 DataNode 间数据平衡,但是对于单个DataNode内的各磁盘平衡,则需要人工进行数据迁移。 1.确认各数据磁盘...
  • u010027484
  • u010027484
  • 2016年07月11日 11:03
  • 488

hadoop负载均衡

负载均衡理想情况下,在一个集群汇总,我们希望每台机器都发挥自己最大的价值,磁盘的利用率均衡化。 往往因为网络,硬件,程序的原因,导致磁盘利用率出现严重的不均衡现象。 尤其是在DataNode节点出现故...
  • lb812913059
  • lb812913059
  • 2017年12月04日 20:32
  • 29

Hadoop HDFS负载均衡

http://www.cnblogs.com/BYRans/p/5128162.html Hadoop HDFS Hadoop 分布式文件系统(Hadoop Distrib...
  • zdy0_2004
  • zdy0_2004
  • 2016年01月13日 20:45
  • 1908

hadoop balancer 平衡hdfs文件块分布

在要balance的slave执行: start-balancer.sh -threshold 10% 或者 start-balancer.sh -t 10% 或 ./hadoop bal...
  • u010670689
  • u010670689
  • 2014年06月21日 21:40
  • 2133

【集群问题解决】CDH的HDFS平衡问题

运行了一段时间后发现HDFS的数
  • terryliu98
  • terryliu98
  • 2014年10月11日 16:51
  • 1637

Hadoop的数据管理

本文主要介绍Hadoop的数据管理,主要包括Hadoop的分布式文件系统HDFS、分布式数据库HBase和数据仓库工具Hive。 1 HDFS的数据管理 HDFS是分布式计算的存储基石,Hadoo...
  • hzbooks
  • hzbooks
  • 2012年12月04日 14:14
  • 3071

优化Hadoop Balancer运行速度

1.修改dfs.datanode.max.transfer.threads = 4096 (如果运行hbase的话建议为16384),指定用于在DataNode间传输block数据的最大线程数,老版本...
  • oDaiLiDong
  • oDaiLiDong
  • 2016年05月17日 15:13
  • 4118

HADOOP HDFS BALANCER介绍及经验总结

1.集群执行balancer命令,依旧不平衡的原因是什么?该如何解决? 2.尽量不在NameNode上执行start-balancer.sh的原因是什么? 集群平衡介绍 Hadoop...
  • javastart
  • javastart
  • 2015年09月17日 17:31
  • 2065

Hadoop Balancer运行速度优化

1.修改dfs.datanode.max.transfer.threads = 4096 (如果运行hbase的话建议为16384),指定用于在DataNode间传输block数据的最大线程数,老版本...
  • levy_cui
  • levy_cui
  • 2016年09月14日 15:50
  • 2388
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:优化Hadoop Balancer平衡的速度
举报原因:
原因补充:

(最多只允许输入30个字)