HDFS:HDFS读写流程,读取过程,HDFS数据完整性,DataNode功能与目录结构,机架感知

DataNode作用
文件的各个 block 的具体存储管理由 datanode 节点承担。
每一个 block 都可以在多个datanode 上。
Datanode 需要定时向 Namenode 汇报自己持有的 block信息。
存储多个副本（副本数量也可以通过参数设置 dfs.replication，默认是 3）。

心跳是每3秒一次
心跳返回结果带有namenode给该datanode的命令如复制块数据到另一台机器，
或删除某个数据块
如果超过10分钟没有收到某个datanode的心跳，则认为该节点不可用。
DataNode启动后向namenode注册，通过后，周期性（1小时）的向namenode上报所有的块信息

执行数据的流水线复制。
当文件系统客户端从Namenode服务器进程获取到要进行复制的数据块列表后，完成文件块及其块副本的流水线复制。
一个数据块在datanode上以文件形式存储在磁盘上
包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。

总结
1、负责数据的读写（响应的是客户端）
2、周期向NameNode做心跳报告 （节点是否可用、数据是否丢失、校验和）
10分钟没有心跳NameNode认为该节点宕机。
每三秒发送一次心跳报告
3、负责数据的流水线复制（一点一点复制）
DataNode的目录结构
1.和