大数据Hadoop 技术内幕：深入解析 HDFS架构设计与实现原理

一、HDFS架构

 

二、HDFS设计思想

 

 

三、HDFS写流程

 

---Client：

·切分文件Block

·按Block线性和NN获取DN列表（副本数）

·验证DN列表后以更小的单位流式传输数据

---各节点，两两通信确定可用

·Block传输结束后：

---DN向NN汇报Block信息

---DN向Client汇报完成

---Client向NN汇报完成

·获取下一个Block存放的DN列表

·。。。。。。

·最终Client汇报完成

·NN会在写流程更新文件状态

四、HDFS读流程

---Client：

·和NN获取一部分Block副本位置列表

·线性和DN获取Block，最终合并为一个文件

·在Block副本列表中按距离择优选取

五、HDFS文件权限POSIX

---与Linux文件权限类似

·r: read; w:write; x:execute

·权限x对于文件忽略，对于文件夹表示是否允许访问其内容

---如果Linux系统用户zhangsan使用hadoop命令创建一个文件，那么这个文件在HDFS中owner就是zhangsan。

---HDFS的权限目的：阻止好人错错事，而不是阻止坏人做坏事。HDFS相信，你告诉我你是谁，我就认为你是谁。

本文为原创，禁止转载！