勘误《HDFS 2.X权威指南》

勘误《HDFS 2.X权威指南》

1. 勘误位置

Page411 这里要特别注意：PacketLength=4+CHECKSUMS+DATA。为什么这里要加上4呢？文档中给出的说明是历史原因。

2. 勘误说明

读者看的源码是2.7.3，这部分注释是在PacketReceiver.doRead()方法中给出的，如下所示

    // Each packet looks like:
    //   PLEN    HLEN      HEADER     CHECKSUMS  DATA
    //   32-bit  16-bit   <protobuf>  <variable length>
    //
    // PLEN:      Payload length
    //            = length(PLEN) + length(CHECKSUMS) + length(DATA)
    //            This length includes its own encoded length in
    //            the sum for historical reasons.
    //
    // HLEN:      Header length
    //            = length(HEADER)
    //
    // HEADER:    the actual packet header fields, encoded in protobuf
    // CHECKSUMS: the crcs for the data chunk. May be missing if
    //            checksums were not requested
    // DATA       the actual block data

结合书中原图，可以看出这个4字节是PacketLength本身占用的空间，具体为什么要算它本身这4个字节，才是历史原因。

而且很神奇的地方，PacketLength并不是PacketHeader + CHECKSUMS + DATA的length，而是只包含了PacketHeader中PacketLength占用的这4个字节，所以源码中有

int payloadLen = curPacketBuf.getInt(); 
int dataPlusChecksumLen = payloadLen - Ints.BYTES;

curPacketBuf是一个ByteBuffer对象，就是缓存了一个完整的Packet信息，getInt()读出前4个字节，也就是PacketLength的值，然后减去4就是data+checksum的length了。

个人觉得这部分还是要严谨一些，因为HDFS读写流程是最核心也是最复杂的地方，特此说明，仅供参考。