大数据学习-----HDFS的读写流程

1.HDFS写流程

•HDFS写流程

–Client：

•切分文件Block

•按Block线性和NN获取DN列表（副本数）

•验证DN列表后以更小的单位流式传输数据

–各节点，两两通信确定可用

•Block传输结束后：

–DN向NN汇报Block信息

–DN向Client汇报完成

–Client向NN汇报完成

•获取下一个Block存放的DN列表

•最终Client汇报完成

•NN会在写流程更新文件状态

 

2.HDFS读流程

•HDFS读流程

–Client：

和NN获取一部分Block副本位置列表

线性和DN获取Block，最终合并为一个文件

在Block副本列表中按距离择优选取

MD5验证数据完整性