HDFS Datanode与Client之间的数据传输

2019独角兽企业重金招聘Python工程师标准>>>

在HDFS之中，Datanode与Namenode之间是通过RPC进行通信的；在Datanode和Client之间的通信通过两种方式来完成，一种是通过RPC（主要有三个方法recoverBlock、getBlockInfo、getBlockLocalPathInfo），另外一种方式是通过普通的socket。Client与Datanode之间的数据传输就是通过普通的socket来进行传输的。

在类Datanode中包含DataXceiverServer的一个实例，该实例实现ServerSocket功能，主要是接受Client的socket的连接。DataXceiverServer接受socket连接后，启动一个线程DataXceiver。DataXceiver具体负责与Client之间进行block的传输与操作，具体有一下几种操作：

Ø OP_READ_BLOCK：client从Datanode中读取一个block

Ø OP_WRITE_BLOCK：client写一个block到Datanode

Ø OP_REPLACE_BLOCK：Receive a block and write it to disk, it then notifies the namenode to remove the copy from the source.

Ø OP_COPY_BLOCK：Read a block from the disk and then sends it to a destination

Ø OP_BLOCK_CHECKSUM：获取一个block的校验和

DataXceiver通过BlockSender和BlockReceiver来完成block的发送与接收。BlockSender具体负责将block发送到Client；BlockReceiver具体负责接收Client的block，并将其写入到本Datanode以及管线的其他Datanode。

转载于:https://my.oschina.net/sdzzboy/blog/164127