DataNode工作机制
- 一个数据块在DataNode上以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据包括数据块的长度,块数据的校验和,以及时间戳。
- DataNode启动后向NameNode注册,通过后,周期性(1小时)的向NameNode上报所有的块信息。
- 心跳是每3秒一次,心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器,或删除某个数据块。如果超过10分钟没有收到某个DataNode的心跳,则认为该节点不可用。
- 集群运行中可以安全加入和退出一些机器。
数据完整性
- 当DataNode读取Block的时候,它会计算CheckSum。
- 如果计算后的CheckSum,与Block创建时值不一样,说明Block已经损坏。
- Client读取其他DataNode上的Block。
- DataNode在其文件创建后周期验证CheckSum
DataNode宕机
datenode宕机不会立即下线,有一个等待时长
该节点下线后,集群会从其他节点获取该节点的数据块副本
我们可以手动修改hadoop的掉线时限参数值去修改这个时间
<property>
<name>dfs.namenode.heartbeat.recheck-interval</name>
<value>300000</value>
</property>
<property>
<name>dfs.heartbeat.interval</name>
<value>3</value>
</property>
可靠性策略
- 冗余副本策略: 指定副本的数量,默认是3,保证所有的副本不在一个datenode上,这样可以防止datenode失效时数据丢失
- 机架策略: hdfs具有机架感知功能,会在本机架上放一个副本,然后再其他机架上放另外的副本,可以防止机架失效时数据丢失,也可以提高宽带利用率
新加节点
直接启动DataNode,即可关联到集群
sbin/hadoop-daemon.sh start datanode
sbin/yarn-daemon.sh start nodemanager
如果数据不均衡,可以用命令实现集群的再平衡
./start-balancer.sh
starting balancer, logging to /opt/module/hadoop-2.7.2/logs/hadoop-atguigu-balancer-hadoop102.out
Time Stamp Iteration# Bytes Already Moved Bytes Left To Move Bytes Being Moved
datanode 首次加入 cluster 的时候,如果 log 报告不兼容文件版本,有可能时 namenode 与 datanode 的 数据里的 namespaceID、clusterID 不一致,找到两个 ID 位置,修改为一样即可解决
下掉节点
注意:不允许白名单和黑名单中同时出现同一个主机名称。
添加白名单
添加到白名单的主机节点,都允许访问NameNode,不在白名单的主机节点,都会被退出。
- 在NameNode的/opt/module/hadoop-2.7.2/etc/hadoop目录下创建dfs.hosts文件
vi dfs.hosts
#然后把你机器的ip加上去,但是不要加上要下线的hadoop105机器
hadoop102
hadoop103
hadoop104
- 在NameNode的hdfs-site.xml配置文件中增加dfs.hosts属性
<property>
<name>dfs.hosts</name>
<value>/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts</value>
</property>
- 配置文件分发
xsync hdfs-site.xml
- 刷新NameNode
hdfs dfsadmin -refreshNodes
- 更新ResourceManager节点
yarn rmadmin -refreshNodes
17/06/24 14:17:11 INFO client.RMProxy: Connecting to ResourceManager at hadoop103/192.168.1.103:8033
- 如果数据不均衡,可以用命令实现集群的再平衡
./start-balancer.sh
黑名单退役
在黑名单上面的主机都会被强制退出。
- 在NameNode的/opt/module/hadoop-2.7.2/etc/hadoop目录下创建dfs.hosts.exclude文件
vi dfs.hosts.exclude
添加如下主机名称(要退役的节点)
hadoop105
- 在NameNode的hdfs-site.xml配置文件中增加dfs.hosts.exclude属性
<property>
<name>dfs.hosts.exclude</name>
<value>/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts.exclude</value>
</property>
- 刷新NameNode、刷新ResourceManager
hdfs dfsadmin -refreshNodes
出现
Refresh nodes successful
yarn rmadmin -refreshNodes
出现
17/06/24 14:55:56 INFO client.RMProxy: Connecting to ResourceManager at hadoop103/192.168.1.103:8033
-
检查Web浏览器,退役节点的状态为decommission in progress(退役中),说明数据节点正在复制块到其他节点
- 等待退役节点状态为decommissioned(所有块已经复制完成),停止该节点及节点资源管理器。注意:如果副本数是3,服役的节点小于等于3,是不能退役成功的,需要修改副本数后才能退役
sbin/hadoop-daemon.sh
sbin/yarn-daemon.sh stop
- 如果数据不均衡,可以用命令实现集群的再平衡
Datanode多目录配置
DataNode也可以配置成多个目录,每个目录存储的数据不一样。即:数据不是副本
具体配置如下
hdfs-site.xml
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///${hadoop.tmp.dir}/dfs/data1,file:///${hadoop.tmp.dir}/dfs/data2</value>
</property>