站在DataNode的视角,看看pipeline写的流程,本文不分析客户端部分,从客户端写数据之前拿到了3个可写的block位置说起。
每个datanode会创建一个线程DataXceiverServer,接收上游过来的TCP连接,对于每个新建的TCP连接,都会创建一个叫做DataXceiver的线程处理这个连接. 这个线程不断的从TCP连接中读op,然后调用processOp(op)处理这个op,这里以write block 这个op为例.
对于datanode来说,write block操作由DataXceiver的writeBlock函数实现.
大体步骤如下:
new 一个BlockReceiver对象,随后用于接收上游(client或者datanode)的block数据.
根据传进来的DatanodeInfo数组,向数组的第一个元素代表的datanode建立TCP连接,targets参数是从上游的TCP连接中解析出来的,逻辑在Receiver的opWriteBlock方法中,Receiver
是DataXceiver的基类.然后调用Sender的writeBlock方法给下游datanode发送write block相关元信息,包括DatanodeInfo数组(刨去第一个元素),clientname,block的当前gs,minBytesRcvd,maxBytesRcvd(对于append,recovery操作有用)
等。然后读取下游的回复封装在BlockOpResponseProto对象中,可以通过内部成员firstBadLink
知道建pipeline中第一个失败的datanode节点。接着将BlockOpResponseProto回复给上游
(datanode或者client),最后调用第一步new的BlockReceiver的re