八、HDFS中的DataNode

       上篇博客介绍了Hadoop源码编译，本篇主要介绍HDFS中的DataNode，关注专栏《破茧成蝶——大数据篇》查看相关系列的文章~

---

目录

一、DataNode的工作机制

二、掉线时限参数

三、节点的添加与删除

3.1 节点添加

3.2 节点删除

3.2.1 白名单

3.2.2 黑名单

四、DataNode多目录配置

---

 

一、DataNode的工作机制

       （1）一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件：一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。（2）DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有的块信息。（3）心跳是每3秒一次，心跳返回结果是带有NameNode给该DataNode的命令。如果超过10分钟没有收到某个DataNode的心跳，则认为该节点不可用。（4）集群运行中可以安全加入和退出一些机器。

       DataNode上的数据也会出现损坏的情况，那么如何保证数据的完整性就变得尤为重要了。以下便是DataNode节点保证数据完整性的方法：（1）当DataNode读取Block的时候，它会计算CheckSum。（2）如果计算后的CheckSum，与Block创建时值不一样，说明Block已经损坏。（3）Client读取其他DataNode上的Block。（4）DataNode在其文件创建后周期验证CheckSum。

二、掉线时限参数

       DataNode死亡或者因为网络故障会导致其无法与NameNode通信，NameNode不会立即判定DataNode死亡，会经过一段时间，这段时间称为超时时长。HDFS默认的超时时长为10min+30s。超时时长的计算公式为：timeout = 2 * dfs.namenode.heartbeat.recheck-interval + 10 * dfs.heartbeat.interval。默认的dfs.namenode.heartbeat.recheck-interval为5分钟，默认的dfs.heartbeat.interval为3秒。

       需要注意的是hdfs-site.xml 配置文件中的heartbeat.recheck.interval的单位为毫秒，dfs.heartbeat.interval的单位为秒。

<property>
    <name>dfs.namenode.heartbeat.recheck-interval</name>
    <value>300000</value>
</property>
<property>
    <name>dfs.heartbeat.interval</name>
    <value>3</value>
</property>

三、节点的添加与删除

3.1 节点添加

       （1）首先准备一台新的机器。

       （2）修改IP和主机名。

       （3）如果是从之前的机器中克隆的新机器，需要删除原来HDFS文件系统中保留的文件。

       （4）重新生效配置文件

source /etc/profile

       （5）启动DataNode和NodeManager

sbin/hadoop-daemon.sh start datanode
sbin/yarn-daemon.sh start nodemanager

       此时，就相当于在集群中新加了一个节点，如果数据不均衡，可以用命令实现集群的再均衡：

start-balancer.sh

3.2 节点删除

3.2.1 白名单

       添加到白名单中的主机节点，都允许访问NameNode，不在白名单中的主机节点，都会被退役掉。配置白名单的步骤如下：

       （1）在NameNode的/opt/modules/hadoop-2.7.2/etc/hadoop目录下创建dfs.hosts.white文件，并添加需要的主机名到文件中：

master
slave01
slave02

       （2）在NameNode的hdfs-site.xml配置文件中增加dfs.hosts属性：

<property>
	<name>dfs.hosts.white</name>
	<value>/opt/modules/hadoop-2.7.2/etc/hadoop/dfs.hosts.white</value>
</property>

       （3）将配置文件分发到集群的其他机器

       （4）刷新NameNode和ResourceManager

hdfs dfsadmin -refreshNodes
yarn rmadmin -refreshNodes

       如果数据不均衡，可以使用如下命令实现数据的再均衡：

start-balancer.sh

3.2.2 黑名单

       在黑名单上的机器，会被强制退役。配置黑名单的步骤如下：

       （1）在NameNode的/opt/modules/hadoop-2.7.2/etc/hadoop目录下创建dfs.hosts.black文件，并将需要退役的节点名称放到该文件中。

       （2）在NameNode的hdfs-site.xml配置文件中增加dfs.hosts.black属性。

<property>
	<name>dfs.hosts.black</name>
    <value>/opt/modules/hadoop-2.7.2/etc/hadoop/dfs.hosts.black</value>
</property>

       （3）将配置文件分发到集群的其他机器

       （4）刷新NameNode和ResourceManager

hdfs dfsadmin -refreshNodes
yarn rmadmin -refreshNodes

       如果数据不均衡，可以使用如下命令实现数据的再均衡：

start-balancer.sh

四、DataNode多目录配置

       DataNode也可以配置成多个目录，每个目录存储的数据不一样，在hdfs-site.xml中添加如下内容：

<property>
	<name>dfs.datanode.data.dir</name>
	<value>file:///${hadoop.tmp.dir}/dfs/data1,file:///${hadoop.tmp.dir}/dfs/data2</value>
</property>

       注意：不同目录之间使用逗号分隔。

 

       至此，本文就讲解完了，你们在这个过程中遇到了什么问题，欢迎留言，让我看看你们遇到了什么问题~