【大数据面试常问问题】----HDFS读写流程

HDFS读写流程

HDFS写流程：

首先，客户端向namenode请求上传文件。namenode检测相应的文件是否存在，若不存在namenode则向client响应可以上传。
client按照128M切分文件，切分完文件之后，client请求namenode第一个block上传的位置，namenode返回block应上传的相应的block位置，clent先向第一个dn1上传第一个block，dn1接收完数据之后，则与dn2建立通道，向其发送数据，dn2则向dn3传输文件。dn1、dn2以及dn3是逐级应答客户端。
接下来的block都是如此循环。
所有block块上传完之后，客户端向namenode响应已经传输完成。

HDFS读流程：

client向namenode请求读取文件，namenode返回文件block对应的datenode服务器地址。
client拿到相应的datenode地址，则根据就近原则选择最近的一个datenode服务器建立输入流，然后datenode服务器向输入流写入数据，并以packet校验。
client接收数据之后先放入本地缓存中，然后写入文件。
如此循环。

注意:所有答案非官方语句，皆为个人理解，不涉及底层。
每篇一言:坐而论道，起而行之。