HDFS读写流程
HDFS写流程
- client发起文件上传请求,通过RPC(远程调用,跨服务器,需要网络编程实现)与NameNode建立通信。NameNode检查该用户是否有上传的权限,该文件是否在对应的目录下有重名文件,有一个不符合要求则报错
- client对文件进行切分,默认128一个block,切分完毕后,client请求第一个block该传输到哪个DataNode上。
- NameNode根据网络拓朴、机架感知、副本机制对文件机型分配,返回可用的DataNode地址
- client对返回一个DataNode A进行通信,本质是进行RPC调用,建立pipeline,A收到请求之后继续调用B,B再调用C,整个pipeline完成之后,逐级返回client
- client开始向A发送第一个block(先从磁盘中读取数据然后放到本地缓存),以packet(默认64kb)为单位,A收到一个packet发送给B,B发送给C,A每传完一个packet就会放入一个应答队列等待应答,每个packet传输玩,反方向会逐个发送ack(命令正确应答)
- 一个block传输完成之后,client会再次请求NameNode上传第二个block
HDFS读流程
- client向NameNode发送RPC请求,请求文件block的地址,NameNode通过查询元数据,找到文件块所在的DataNode地址
- 挑选一台DataNode(就近,然后随机),请求读取数据
- DataNode传输数据给client(从磁盘读取数据输入流,以packet为单位校验)
- 客户端以packet为单位接受,先在本地缓存,再写入目标文件
- 读取时并行读取block文件,不是一块一块读取