HDFS集群数据不均衡处理

• 一、概述

  公司使用是自己搭建的hadoop集群，版本2.7.3，最近发现出现了hdfs数据存储不均衡的现象，其中有一个datanode使用了65%，而有一个只使用了20%。hadoop集群使用的时间长了会出现这种数据不均衡的问题，当然hadoop提供了解决方案，就是使用balancer，默认进行的是datanode级别的数据均衡，但是2.X版本还不支持datanode内的磁盘之间数据均衡，hadoop在3.0以后的版本里面提供了相关的支持,参考https://hadoop.apache.org/docs/r3.0.0/hadoop-project-dist/hadoop-hdfs/HDFSDiskbalancer.html

  二、问题解决

  1、datanode之间出现了数据不平衡的现象

  可以执行hadoop提供的balancer，来进行datanode之间数据balance，默认hdfs的balance带宽是1M/s，这个可以通过参数来进行调整dfs.datanode.balance.bandwidthPerSec, dfs.balance.bandwidthPerSec

  HDFS平衡器检测集群中使用过度或者使用不足的DataNode，并在这些DataNode之间移动数据块来保证负载均衡。如果不对平衡操作进行带宽限制，那么它会很快就会抢占所有的网络资源，不会为Mapreduce作业或者数据输入预留资源。参数dfs.balance.bandwidthPerSec定义了每个DataNode平衡操作所允许的最大使用带宽，这个值的单位是byte，这是很不直观的，因为网络带宽一般都是用bit来描述的。因此，在设置的时候，要先计算好。DataNode使用这个参数来控制网络带宽的使用，但不幸的是，这个参数在守护进程启动的时候就读入，导致管理员没办法在平衡运行时来修改这个值，如果需要调整就要重启集群
   

  # hdfs balancer --help
  Usage: hdfs balancer
      [-policy <policy>]    the balancing policy: datanode or blockpool
      [-threshold <threshold>]    Percentage of disk capacity
      [-exclude [-f <hosts-file> | <comma-separated list of hosts>]]    Excludes the specified datanodes.
      [-include [-f <hosts-file> | <comma-separated list of hosts>]]    Includes only the specified datanodes.
      [-idleiterations <idleiterations>]    Number of consecutive idle iterations (-1 for Infinite) before exit.
  
  Generic options supported are
  -conf <configuration file>     specify an application configuration file
  -D <property=value>            use value for given property
  -fs <local|namenode:port>      specify a namenode
  -jt <local|resourcemanager:port>    specify a ResourceManager
  -files <comma separated list of files>    specify comma separated files to be copied to the map reduce cluster
  -libjars <comma separated list of jars>    specify comma separated jar files to include in the classpath.
  -archives <comma separated list of archives>    specify comma separated archives to be unarchived on the compute machines.
  
  The general command line syntax is
  bin/hadoop command [genericOptions] [commandOptions]

  #设置带宽，默认是1048576(1M/s），默认单位是字节
  hdfs dfsadmin -setBalanacerBandwidth 1048576
  #允许的disk 数据差距，是一个百分数，例如我写的是5，也就是容忍datanode数据的差距是5%
  hdfs  balancer  -threshold  5
  
  #选择需要进行数据balance的datanode
  hdfs balancer  -include   spark-worker1,sparkworker2

  2、datanode内磁盘之间的数据不均衡

  datanode内的磁盘是指在一个datanode上挂载多个磁盘，在hdfs-site.xml文件里面配置多个目录：

     <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/data/hadoop-2.7.3/hdfs/data,/data1/hdfs1</value>
      </property>

  datanode内部多个磁盘的数据分布不均衡，是指某个磁盘的使用是80%，而另外一块磁盘只使用了30%，这种情况下balancer就不能处理数据平衡了。可以使用diskbalancer来平衡磁盘之间的数据。

  intra-datanode就是用来处理这累问题的，但是在hadoop3.0才开始支持，所以需要升级hadoop的版本，一般现有集群升级可能会造成一些麻烦，淡然如果能升级的话建议直接升级，因为新版本的hadoop性能有很大的提升，并且与2.x版本有很多的差异。当然不升级也有方法解决，dfs.datanode.data.dir的多个目录之间是采用的轮训的方法写入的，可以在使用率低的磁盘上创建多个同级的目录，增加数据写入的概率

     <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/data/hdfs/data,/data1/hdfs1,/data1/hdfs2</value>
      </property>

  升级到3.0后，可以直接就会在hdfs的命令参数里面找到diskbalancer

  diskbalancer有三个阶段：discover、plan、execute

  Discover阶段：

  计算各个DataNode磁盘使用情况，然后得到一个需要进行数据平衡的磁盘列表，会使用VolumeData Density(磁盘使用密度)作为评判标准，这个标准会以节点总使用率作为比较值。比如，如果一个DataNode  ，总使用率是75%,也就是0.75. 其中A盘0.5，那么A盘的密度值就=0.75-0.5=0.25；同理如果超出的话，则密度值将会为负数。于是我们可以用VolumeData Density绝对值来判断此节点内磁盘间数据平衡情况，如果总的觉得值和越大，说明数据越不平衡

  Plan阶段：

  拿到上一阶段的汇报结果数据之后,将会进行执行计划的生成.Plan并不是一个最小的执行单元,它的内部由各个Step组成.Step中会指定好源,目标磁盘.这里的磁盘对象是一层经过包装的对象:DiskBalancerVolume,并不是原来的FsVolume.这里顺便提一下DiskBalancer中对磁盘节点等概念的转化:

    》DiskBalancerCluster.通过此对象可以,读取到集群中的节点信息,这里的节点信息以DiskBalancerDataNode的方式所呈现.
    》DiskBalancerDataNode.此对象代表的是一个包装好后的DataNode.
    》DiskBalancerVolume和DiskBalancerVolumeSet.DataNode磁盘对象以及磁盘对象集合.DiskBalancerVolumeSet内的磁盘存储目录类型需要是同种StorageType.
  
  Execute阶段：

  所有执行计划生成以后，就到了执行阶段。这些计划会被提交到各自DataNode上，然后在DiskBalancer类中执行。然后DiskBalancer有专门的类DiskBalancerMover来做数据平衡工作。在磁盘间数据平衡的过程中,高使用率的磁盘会移动数据块到相对低使用率的磁盘,等到满足一定阈值关系的情况下时,DiskBalancer会渐渐地退出.在DiskBalancer的执行阶段,有以下几点需要注意:

    》带宽限制：DiskBalancer也可以支持带宽限制。默认是10M，可以通

    》过配置项dfs.disk.balancer.max.disk.throughputInMBperSec进行控制

    》失败次数限制：DiskBalancer中会存在失败次数的控制.在拷贝block数据块的时候,出现IOException异常,会进行失败次数的累加计数,如果超出最大容忍值,DiskBalancer也会退出.

    》数据平衡阀值控制：DiskBalancer中可以提供一个磁盘间数据的平衡阈值,以此作为是否需要继续平衡数据的标准,配置项为dfs.disk.balancer.block.tolerance.percent.

  diskbalancer执行命令：

  hdfs   diskbalancer -query nodename.test.com
  
  生成plan
  hdfs  diskbalancer -uri hdfs://.com -plan node1.test.com
  
  执行execute
  hdfs  diskbalancer -execute /system/diskbalancer/nodename.plan.json
  
  
  终止或取消execute
  hdfs  diskbalancer -cancel /system/diskbalancer/nodename.plan.json
  
  
  具体参考https://hadoop.apache.org/docs/r3.0.0/hadoop-project-dist/hadoop-hdfs/HDFSDiskbalancer.html