HDFS学习笔记（三）——DataNode

DataNode

DataNode工作流程

DataNode中保存着许多Block，每个Block涉及的信息包括数据、数据长度、校验和、时间戳。

block数据（形如blk_1073741825、blk_1073741825_1001.meta）存储在 /opt/module/hadoop-3.x.x/data/dfs/data/current/BP-.../current/finalized/subdir0/subdir0、

①DataNode启动后，向NameNode注册自己，告诉NameNode自己所保存的块信息。并表示自己这个节点是活着的。

②NameNode收到消息后，回应一下该DataNode，表示知道了。

③DataNode以6小时为周期自查自身block信息的正确完整（在底层，采用的是crc循环冗余校验），并上报自身所有block的信息，表示block完好。另外DataNode每3秒告诉NameMode一次，自己还活着（心跳机制），然后NameNode收到指定DataNode的心跳信息后会予以回应，并在回应的消息中附带自己给该DataNode的命令。

④如果NameNode超过10分钟+30秒（2*dfs.namenode.heartbeat.recheck-interval + 10*dfs.heartbeat.interval）没有收到DataNode的心跳，则视该节点不可用。可以在 hadoop102:9870（hadoop102根据节点对应的ip地址更换） 页面点击【DataNodes】可以查看各DataNode的信息。

可以通过kill掉单个DataNode的进程来观察心跳终止的情况

#先查看hadoop进程
jps

#杀死DataNode的进程
kill -9 【DataNode的PID】

#恢复，启动DataNode
hdfs --daemon start datanode