【精】HDFS短路读原理详解

本文主要内容：

1. HDFS短路读的概念
2. HDFS安全短路读和非安全短路读
3. HDFS安全短路的实现。从read方法 -> native方法分配共享内存的过程

一、短路读

首先来介绍一下什么是短路读（shortcuit read）。

在HDFS中，如果客户端和要读取的数据所在Datanode处于同一台物理节点上时，那么客户端可以采用直接读本地磁盘上数据的方法进行读操作，而不用再和Datanode建立TCP连接之后再传递数据了。

短路读的好处很明显：建立和维护TCP连接都是有开销的，而短路读直接读取本地文件则避免了建立TCP和传输数据的开销，极大的提升了读性能。

二、不安全短路读向安全短路读的演进

HDFS-2246实现了一种不安全的短路读。如下图所示，图摘自《HDFS源码剖析》

HDFS-2246中，当执行本地读时，客户端直接从文件对应的本地磁盘的物理路径读取数据。这种实现方式有安全问题：因为Datanode需要把所有数据路径的权限开放给客户端，因此客户端用户可以直接浏览所有数据路径下的数据，这显然不是很安全。

因此HDFS-347中，提供了一种安全的短路读机制：客户端向Datanode请求数据时，Datanode会打开块文件和校验和文件，将这两个文件的文件描述符通过domain socket传递给客户端。客户端接收到这两个文件的文件描述符之后，可以直接打开文件读取数据，也就绕过了Datanode进程