HDFS服役和退役数据节点

1、服役新数据节点：

• 需求：
  随着公司业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。
• 环境准备
  • 克隆一台虚拟机node4
  • 修改ip地址和主机名称
  • 删除原来HDFS文件系统留存的文件

在core-site.xml中配置的hadoop.tmp.dir目录下的所有文件

• 服役新节点具体步骤

  • 1、在namenode所在节点的Hadoop安装目录的ect/hadoop目录下（/opt/app/hadoop/etc/hadoop）创建dfs.hosts文件

    [root@hadoop105 hadoop]$ pwd
    /opt/app/hadoop/etc/hadoop
    [root@hadoop105 hadoop]$ touch dfs.hosts
    [root@hadoop105 hadoop]$ vi dfs.hosts
    #添加如下主机名称（包含新服役的节点）
    node2
    node3
    node4 #服役的新的数据节点
    

  • 2、在namenode所在节点的Hadoop的hdfs-site.xml配置文件中增加dfs.hosts属性

    <!--dfs.hosts代表改文件中的地址都为白名单，可以访问NameNode节点，与NameNode节点通信-->
    <property>
      <name>dfs.hosts</name>
      <value>/opt/app/hadoop/etc/hadoop/dfs.hosts</value>
    </property>
    

  • 3、刷新namenode的数据节点信息列表：

    [root@node2 hadoop-2.8.5]$ hdfs dfsadmin -refreshNodes
    Refresh nodes successful
    

  • 4、更新resourcemanager的资源管理节点列表：

    [root@node2 hadoop-2.8.5]$ yarn rmadmin -refreshNodes
    17/06/24 14:17:11 INFO client.RMProxy: Connecting to ResourceManager at node3/192.168.1.103:8033
    

  • 5、单独命令在新的数据节点启动数据节点DataNode和节点管理器NodeManager

    [root@hadoop105 hadoop-2.8.5]$ sbin/hadoop-daemon.sh start datanode
    starting datanode, logging to /opt/app/hadoop/logs/hadoop-root-datanode-hadoop105.out
    [root@hadoop105 hadoop-2.8.5]$ sbin/yarn-daemon.sh start nodemanager
    starting nodemanager, logging to /opt/app/hadoop/logs/yarn-root-nodemanager-hadoop105.out
    

  • 6、在web浏览器上检查是否ok

  • 如果数据不均衡，可以用命令实现集群的再平衡

    [root@node2 sbin]$ ./start-balancer.sh
    starting balancer, logging to /opt/app/hadoop/logs/hadoop-root-balancer-node2.out
    Time Stamp               Iteration#  Bytes Already Moved  Bytes Left To Move  Bytes Being Moved
    

2、退役旧数据节点：

• 1、在namenode所在节点的Hadoop的配置文件目录（/opt/app/hadoop/etc/hadoop）下创建dfs.hosts.exclude文件

  [root@node2 hadoop]$ pwd
  /opt/app/hadoop/etc/hadoop
  [root@node2 hadoop]$ touch dfs.hosts.exclude
  [root@node2 hadoop]$ vi dfs.hosts.exclude
  添加如下主机名称（要退役的节点）
  node4 #要退役的数据节点
  

• 2、在namenode所在节点的Hadoop的hdfs-site.xml配置文件中增加dfs.hosts.exclude属性（如果第一次增加退役文件需要重启HDFS集群）

  <!--dfs.hosts.exculde文件代表namenode访问的黑名单  需要退役的数据节点
  黑名单加入的数据节点如果也在dfs.hosts文件存在的话  不会立即退出 而是先把数据块转移到其他数据节点 然后再退役
  -->
  <property>
    <name>dfs.hosts.exclude</name>
    <value>/opt/app/hadoop/etc/hadoop/dfs.hosts.exclude</value>
  </property>
  

• 3、刷新namenode、刷新resourcemanager

  [root@node2 hadoop-2.8.5]$ hdfs dfsadmin -refreshNodes
  Refresh nodes successful
  [root@node2 hadoop-2.8.5]$ yarn rmadmin -refreshNodes
  17/06/24 14:55:56 INFO client.RMProxy: Connecting to ResourceManager at node3/192.168.1.103:8033
  

• 4、检查web浏览器，退役节点的状态为decommission in progress（退役中），说明数据节点正在复制块到其他节点。

• 5、等待退役节点状态为decommissioned（所有块已经复制完成），停止该节点及节点资源管理器。注意：如果副本数是3，服役的节点小于等于3，是不能退役成功的，需要修改副本数后才能退役。

  [root@hadoop105 /]$ sbin/hadoop-daemon.sh stop datanode
  stopping datanode
  [root@hadoop105 /]$ sbin/yarn-daemon.sh stop nodemanager
  stopping nodemanager
  

• 6、从白名单文件dfs.hosts中删除退役节点，再运行刷新节点的命令

  • 从namenode的dfs.hosts文件中删除退役节点node4

    node2
    node3
    

  • 刷新namenode，刷新resourcemanager

    [root@node2 hadoop-2.8.5]$ hdfs dfsadmin -refreshNodes
    Refresh nodes successful
    [root@node2 hadoop-2.8.5]$ yarn rmadmin -refreshNodes
    17/06/24 14:55:56 INFO client.RMProxy: Connecting to ResourceManager at node3/192.168.1.103:8033
    

  • 如果数据不均衡，可以用命令实现集群的再平衡

    [root@node2 hadoop-2.8.5]$ sbin/start-balancer.sh 
    starting balancer, logging to /opt/app/hadoop/logs/hadoop-root-balancer-node2.out
    Time Stamp               Iteration#  Bytes Already Moved  Bytes Left To Move  Bytes Being Moved
    

3、Datanode多目录配置：

• datanode也可以配置成多个目录，每个目录存储的数据不一样。即：数据不是副本。

• 具体配置如下：hdfs-site.xml

  <property>
    <name>dfs.datanode.data.dir</name>        
    <value>file:///${hadoop.tmp.dir}/dfs/data1,file:///${hadoop.tmp.dir}/dfs/data2</value>
  </property>