Datanode中读取数据块的两种方式

Datanode中读取数据块的两种方式

1.普通方式
 Datanode读取数据块的普通方式在操作系统层面有四步：
(1)Datanode首先将数据块从磁盘存储读入操作系统的内核缓冲区
(2)在将数据跨内核推到Datanode进程
(3)然后Datanode会再次跨内核将数据推回内核中的套接字缓冲区
(4)最后将数据写入网卡缓冲区
 显然，上面的步骤(2)和步骤(3)进行了两次多余的数据拷贝操作，此时Datanode只是起到缓存数据并将其传回套接字的作用。

2.零拷贝方式
 Java NIO提供了零拷贝模式来消除这些多余的拷贝操作，并减少内核态与用户态之间的上下文切换。
 使用零拷贝的应用程序可以要求内核直接将数据从磁盘文件拷贝到网卡缓冲区，而无须通过应用程序周转，从而大大提高了应用程序的性能。具体方法是transferTo()方法，用于在Linux系统上支持零拷贝。
 transferTo()方法读取文件通道中position参数指定位置处开始的count个字节的数据，然后将这些数据直接写入目标通道target中。HDFS的SocketOutputStream对象的transferToFully()方法封装了FileChannel.transferTo()方法，对Datanode提供支持零拷贝的数据读取功能。
 零拷贝方式的步骤为：
(1)Datanode调用transferTo()方法引发DMA引擎将文件内容拷贝到内核缓冲区。
(2)之后数据并未被拷贝到Datanode进程中，而是由DMA引擎直接把数据从内核缓冲区传输到网卡缓冲区。
 由于数据不再经过Datanode中转，而是直接在内核中完成了数据的读取与发送，所以大大地提高了读取效率。但由于数据不经过Datanode的内存，所以Datanode失去了在客户端读取数据块过程中对数据校验的能力。HDFS将数据块读取操作中的数据校验工作放在客户端执行，客户端完成校验工作后，会将校验结果发送回Datanode。