一、DataNode工作机制

1.DataNode工作机制及存储

• HDFS分布式文件系统也是一个主从架构
• 主节点是namenode，负责管理整个集群以及维护集群的元数据信息
• 从节点datanode，主要负责文件数据存储

2. datanode工作机制

-1） 一个数据块在datanode上以文件形式存储在磁盘上，包括两个文件

• 一个是数据本身
• 一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。
• hdfs-site.xml中指定了数据存储的路径
• 2）DataNode启动后向namenode注册，通过后，周期性（6小时）的向namenode上报所有的块信息。
• 3）心跳是每3秒一次
  • 心跳返回结果带有namenode给该datanode的命令如复制块数据到另一台机器，或删除某个数据块。
  • 如果超过10分钟没有收到某个datanode的心跳，则认为该节点不可用
• 4）集群运行中可以安全加入和退出一些机器
  3.datanode的数据完整性
• 1. 当客户端向hdfs写数据时
  • 会计算数据的校验和，以此保证数据通过网络传输，到达datanode后，没有丢失数据
• 2）当DataNode读取block的时候
  • 它会计算checksum
  • 如果计算后的checksum，与block创建时值不一样，说明block已经损坏
  • client读取其他DataNode上的block