从HDFS文件系统中读写文件原理

1、从HDFS文件系统中写文件

    1、客户端发起请求要写文件 /aa/jdk.tgz

     2、namenode会检查该目录是否存在，返回是否可写

     3、客户端请求写入第一个block

     4、namenode返回3个datanode主机

     5、挑选dn1，请求建立传输数据的连接，建立socket连接，请求带有参数，告诉dn1要传输给多少台机器

     6、7、dn1收到请求后与其他机器建立数据传输链路

     8、9、其他机器响应dn1

     10、dn1响应给客户端已经准备好了

     11、传输第一个block数据带有id、从本地文件输入流中抽取数据而且是从0偏移量开始读，一边读一边通过网络输出流传输给dn1，dn1通过网络输入流接受数据，通过本地文件输出流写入到磁盘中，dn1一边接受byte字节数据一边用网络输出流写道dn2上，dn2的接受数据同dn1的一样，dn3也是同理

     12、重复步骤3-11

     13、数据全部写完后，告知Namenode

     14、Namenode会确认记录元数据

 

细节：

     如果写入某个DataNode失败，数据会继续写入其他的DataNode。然后NameNode会找另外一个好的DataNode继续复制，以保证冗余性；

 

 

2、从HDFS文件系统中读文件

 

         

1、客户端向NameNode发起请求，请求读取/aaa/jdk.tgz数据

          2、NameNode返回元数据信息，主要返回block存放的datanode

          3、挑选一台datanode（就近原则），请求建立socket流 ，请求读取block数据，

                 从datanode的本地文件输入流开始读数据，以二进制的形式写到网络输出流，

                 网络输出流通过网络传输到客户端， 客户端通过网络输入流接收数据，写入到

                  本地文件输出流中，然后写入目标文件

          4、重复3过程，直到读取完全部的信息，最终合成一个文件。