DataNode

一、DataNode工作机制

1. 一个数据在DataNode上以文件的形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据（包括数据块的长度，块的校验和，以及时间戳）。
2. DataNode启动后像NameNode注册，通过后周期性（1小时）的向NameNode上报所有块信息
3. NameNode与DataNode之间使用心跳进行检测节点是否可用，心跳没每3秒一次，心跳返回结果带有NameNode给该DataNode的命令，如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个DataNode的心跳，则认为该节点不可用。
4. 集群中可以安全的加入和退出一些机器

二、数据完整性校验

DataNode节点保证数据完整性的方法：

1. 当DataNode读取Block时，它会计算CheckSum
2. 如果计算后的CheckSum与Block创建时不一致，说明Block已经损坏
3. Client读取其他DataNode上的Block
4. DataNode在其文件创建后周期验证CheckSum

三、DataNode掉线时限参数设置

1. DataNode进程死亡或者网络故障战场DataNode无法与NameNode无法通信

2. NameNode不会立即吧该节点判定为死亡，要经过一段时间，这段时间成为超时时长。

3. HDFS的默认超时时长为10分钟+30秒

   TimeOut = 2 * dfs.namenode.heartbeat.recheck-interval + 10 * dfs.heartbeat.interval

   默认配置:

   <property>
       <name>dfs.namenode.heartbeat.recheck-interval</name>
       <value>300000</value>
   </property>
   <property>
       <name>dfs.heartbeat.interval</name>
       <value>3</value>
   </property>
   

   hdfs-site.xml配置文件中的heartbeat.recheck.interval的单位为毫秒，dfs.heartbeat.interval的单位为秒。

4. 可以通过修改上述两个配置修改超时时长。

四、添加服役新数据节点

1. 安装配置hadoop

2. 将新的节点ip添加到/etc/hosts(hadoop105)

   192.168.1.102 hadoop102
   192.168.1.103 hadoop103
   192.168.1.104 hadoop104
   192.168.1.105 hadoop105
   

3. slaves添加新节点

   hadoop102
   hadoop103
   hadoop104
   hadoop105
   

4. 配置ssh免密

5. 将hosts与slaves分发到新节点

6. 单独启动新节点

五、退役旧数据节点

5.1、添加白名单

添加到白名单的主机节点，都允许访问NameNode，不在白名单的主机节点，都会被退出。
步骤：

1. 在NameNode的/opt/module/hadoop-2.7.2/etc/hadoop目录下创建dfs.hosts文件

   hadoop102
   hadoop103
   hadoop104
   

   上面四中添加了Hadoop05，现在要把它添加到白名单之外

2. 在NameNode的hdfs-site.xml配置文件中增加dfs.hosts属性

   <property>
   <name>dfs.hosts</name>
   <value>/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts</value>
   </property>
   

3. 分发配置文件hdfs-site.xml

   xsync hdfs-site.xml
   

4. 刷新NameNode

   hdfs dfsadmin -refreshNodes
   

5. 更新ResourceManager节点

   yarn rmadmin -refreshNodes
   

6. 在web就查看不到Hadoop105了
   
   这种方式，是的不在白名单中的节点被排除在外了，如果该节点有数据，会造成数据不均衡
   ，使用start-balancer.sh使得集群再平衡

   [hadoop100@hadoop102 hadoop-2.7.2]$ start-balancer.sh 
   starting balancer, logging to /opt/module/hadoop-2.7.2/logs/hadoop-hadoop100-balancer-hadoop102.out
   Time Stamp               Iteration#  Bytes Already Moved  Bytes Left To Move  Bytes Being Moved
   

5.2、添加黑名单

在黑名单上面的主机会被强制退出

1. 在NameNode的/opt/module/hadoop-2.7.2/etc/hadoop目录下创建dfs.hosts.exclude文件

   hadoop105
   

2. 在NameNode的hdfs-site.xml配置文件中增加dfs.hosts.exclude属性

   <property>
   <name>dfs.hosts.exclude</name>
         <value>/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts.exclude</value>
   </property>
   

3. 刷新NameNode、刷新ResourceManager

   hdfs dfsadmin -refreshNodes
   yarn rmadmin -refreshNodes
   

4. 检查Web浏览器，退役节点的状态为decommission in progress（退役中），说明数据节点正在复制块到其他节点
   
5. 等待退役节点状态为decommissioned（所有块已经复制完成），停止该节点及节点资源管理器。注意：如果副本数是3，服役的节点小于等于3，是不能退役成功的，需要修改副本数后才能退役
   
6. 停止节点
7. 如果数据不均衡，在使用start-balancer.sh使得数据均衡

注意：不允许白名单和黑名单中同时出现同一个主机名称

六、DataNode多目标配置

1. DataNode也可以配置成多个目录，每个目录存储的数据不一样。即：数据不是副本
2. 在hdfs-site.xml中配置：

   <property>
           <name>dfs.datanode.data.dir</name>
   <value>file:///${hadoop.tmp.dir}/dfs/data1,file:///${hadoop.tmp.dir}/dfs/data2</value>
   </property>
   

NameNode的多目录配置，多个目录的内容是一样的。而DataNode的多目录配置，各个目录的文件内容是不一样的，即DataNode的多目录是分开存储的。