Hadoop之HDFS的读写流程（四）

读取过程：

上图解说一：

       1、使用HDFS提供的客户端开发库，向远程的NameNode发起RPC请求；

       2、NameNode会视情况返回文件的部分或全部block列表，同时返回的block所对应的的datanode地址信息；

       3、Client会就近选取对应的block，若该block与客户端在同一个dataNode，则就相当于读取本地数据；

       4、当读取完当前的blokc之后，关闭其与dataNode 的连接，同时Client会为读取下一个block寻找最佳的dataNode；

       5、 当读完列表的block后，且文件读取还没有结束，客户端开发库会继续向Namenode获取下一批的block列表；

       6、每读完一个block都会对其进行checksum验证，如果读取dataNode出现错误则通知nameNode，

             然后再从其他拥有该block的dataNode继续进行读取。

       上图解说二：

       客户端(client)用FileSystem的open()函数打开文件

       DistributedFileSystem用RPC调用元数据节点，得到文件的数据块信息。

       对于每一个数据块，元数据节点返回保存数据块的数据节点的地址。

       DistributedFileSystem返回FSDataInputStream给客户端，用来读取数据。

       客户端调用stream的read()函数开始读取数据。

       DFSInputStream连接保存此文件第一个数据块的最近的数据节点。

       Data从数据节点读到客户端(client)

       当此数据块读取完毕时，DFSInputStream关闭和此数据节点的连接，然后连接此文件下一个数据块的最近的数据节点。

       当客户端读取完毕数据的时候，调用FSDataInputStream的close函数。

       在读取数据的过程中，如果客户端在与数据节点通信出现错误，则尝试连接包含此数据块的下一个数据节点。

       失败的数据节点将被记录，以后不再连接。

    数据完整性：

   用户从 DN 读取文件数据时，因 DN 磁盘或网络问题、软件 bug 等原因，客户端可能读到错误的数据。

   HDFS 在写入文件时，为文件的每个 block 计算校验和，当读取文件数据时，客户端通过对数据计算校验和来确认读到数据的完整性。

HDFS写的流程：

        
   HDFS写的流程图解说：

          1、通过Client向远程的NameNode发送RPC请求；

          2、接收到请求后NameNode会首先判断对应的文件是否存在以及用户是否有对应的权限，

                成功则会为文件创建一个记录，否则会让客户端抛出异常；

          3、 当客户端开始写入文件的时候，开发库会将文件切分成多个packets，并在内部以"data queue"的形式管理这些packets，

                并向Namenode申请新的blocks，获取用来存储replicas的合适的datanodes列表， 

                列表的大小根据在Namenode中对replication的设置而定。

          4、 开始以pipeline（管道）的形式将packet写入所有的replicas中。开发库把packet以流的方式写入第一个 datanode，

               该datanode把该packet存储之后，再将其传递给在此pipeline中的下一个datanode，直到最后一个 datanode，

               这种写数据的方式呈流水线的形式。

          5、最后一个datanode成功存储之后会返回一个ack packet，在pipeline里传递至客户端，在客户端的开发库内部维护着

               "ack  queue"，成功收到datanode返回的ack packet后会从"ack queue"移除相应的packet。

          6、如果传输过程中，有某个datanode出现了故障，那么当前的pipeline会被关闭，出现故障的datanode会从当前的 pipeline

               中移除，剩余的block会继续剩下的datanode中继续以pipeline的形式传输，同时Namenode会分配一个新的 datanode，

               保持replicas设定的数量。