【若泽大数据实战第十二天】HDFS课程 读流程-写流程

前言：

     上期课程J哥给我们讲了很多有关于HDFS内部的namenode，datanode，secondary的各种分析，下面的课程涉及到了读流程和写流程。我也将详细的梳理清楚。

HDFS写流程

                                                                                                                                         HDFS写流程

1.文件写流程 --> FSDataOutputStream (面试题)

1.1 Client调用FileSystem.create(filePath)方法，去NameNode进行rpc通信，check该路径的文件是否存在以及有没有权限创建该文件。假如ok，就创建一个新文件，但是并不关联任何block，返回一个FSDataOutputStream对象；（假如not ok，就返回错误信息，所以写代码要try-catch）


1.2 Client调用FSDataOutputStream对象的write()方法，会将第一个块写入第一个DataNode，第一个DataNode写完传给第二个节点，第二个写完传给第三节点，当第三个节点写完返回一个ack packet给第二个节点，第二个返回一个ack packet给第一个节点，第一个节点返回ack packet给FSDataOutputStream对象，意思标识第一个块写完，副本数为3；然后剩余的块依次这样写。（当然写操作对于Client端也是透明的）

1.3 当向文件写入数据完成后，Client调用FSDataOutputStream.close()方法，关闭输出流，flush缓存区的数据包；

1.4 再调用FileSystem.complete()方法，告诉NameNode节点写入成功。

hadoop]$ bin/hdfs -dfs -put rzdata.log /xxx001/
put: `/xxx01/': No such file or directory: `hdfs://192.168.137.201:9000/xxx01'
找不到此文件


要求：
    1、流程要清楚
    2、文件写流程 --> FSDataOutputStream
    3、校验文件是否存在和权限问题
    4、最后一步DFS.complete()方法，告诉NN节点写入成功
https://wenku.baidu.com/view/fabe57b004a1b0717fd5dda5.html

HDFS读流程

                                                                                                                  HDFS读流程

2.文件读流程 --> FSDataInputStream (面试题)

hadoop]$ bin/hdfs/dfs -cat /test.log

2.1 client通过FileSystem.open(filePath)方法，去与NN进行RPC通信，返回该文件的部分或者全部的block块（也包含该列表各block的分布在DataNode地址的列表），也就是返回FSDataInputStream对象
2.2 Client调用FSDataInputStream对象的read()方法。
    a.去与第一个块的最近的datanode进行read，读取完后会check，假如successful会关闭与当前DataNode通信；（假如check fail会记录失败的块+DataNode信息，下次就不会读取，那么会去该块的第二个DataNode地址读取）
    b.然后第二个块的遜的DataNode上的进行读取，check后会关闭与DataNode的通信。
    c.假如block列表读取完了，文件还未结束，那么FileSystem会从NameNode获取下一批的block的列表。（当然读操作对于client端是透明的，感觉就是连续的数据流）
2.3 Client调用FSDataInputStream.close()方法，关闭输入流。


要求：
      1.流程要清楚

      2.文件读流程 --> FSDataInputStream

HDFS读和写，谁用fsdatastream 谁用fsoutputstream

大数据课程推荐：