【hadoop】 2006-hdfs源码分析下载初始化、下载过程

 一、命令行模式上传 文件

1、查看要上传文件的大小

 

[hadoop@cloud01 ~]$ ll -h jdk-7u65-linux-i586.tar.gz
-rw-rw-r--. 1 hadoop hadoop 137M Jul 18  2014 jdk-7u65-linux-i586.tar.gz

2、执行上传文件

[hadoop@cloud01 ~]$ hadoop fs -put jdk-7u65-linux-i586.tar.gz hdfs://cloud01:9000/

3、查看上传HDFS后的文件

[hadoop@cloud01 finalized]$ pwd
/home/hadoop/app/hadoop-2.4.1/tmp/dfs/data/current/BP-135889517-192.168.2.31-1424411868365/current/finalized
[hadoop@cloud01 finalized]$ ll -h
total 139M
-rw-rw-r--. 1 hadoop hadoop 128M Feb 22 04:15 blk_1073741837
-rw-rw-r--. 1 hadoop hadoop 1.1M Feb 22 04:15 blk_1073741837_1013.meta
-rw-rw-r--. 1 hadoop hadoop 9.0M Feb 22 04:15 blk_1073741838
-rw-rw-r--. 1 hadoop hadoop  72K Feb 22 04:15 blk_1073741838_1014.meta

从 HDFS上发现内容： HDFS默认按128M分块，由于该文件 jdk-7u65-linux-i586.tar.gz为137M，发现上传后文件分成两块即blk_1073741837 + blk_1073741838 =  128M + 9M = 139M

4、通过页面方式查看上传后的文件

4.1 查看列表

4.2 点击   jdk-7u65-linux-i586.tar.gz  查看详细内容

二、通过Java接口方式下载文件，分析下载过程

1、分析获取FileSystem实例的执行过程            

                                   /**

                                 * Returns the FileSystem for this URI's scheme and authority. The

                                 * scheme of the URI determines a configuration property name,

                                 *  <tt> fs. <i> scheme  </i> .class </tt>  whose value names the FileSystem

                                 * class. The entire URI is passed to the FileSystem instance's

                                 * initialize method.

                                 */

                                  try  {

                                               FileSystem         fileSystem  = FileSystem.get(  new  URI( HDFS_PATH ),  new  Configuration());

                                }   catch  (Exception  e  ) {

                                                  e .printStackTrace();

                                }

   

1.1  新建Client程序

1.2  FileSystem调用get方法

1.3  调用get方法，生成DistributedFileSystem实例对象
1.4  在DistributedFileSystem中调用initialize方法，调用new DFSClient()，DFSClient方法通过RPC.getProtocalProxy生成代理对象，然后进行对代理对象进行加强

1.5 通过this.namenode = proxyinfo.getProxy() 获取代理对象

1.6 通过上述操作，Client可以直接获取服务端NameNode的代理对象，进而远程调用服务对象指定的方法

2、获取FileSystem对象后，调用open方法获取输入流

2.1 相关类分析

2.2 执行open获取hdfs的输入流的执行过程

具体可以看图

LocatedBlocks{

  fileLength=143588167

  underConstruction=false

  blocks=[LocatedBlock{BP-135889517-192.168.2.31-1424411868365:blk_1073741837_1013; getBlockSize()=134217728; corrupt=false; offset=0; locs=[192.168.2.31:50010]}, 

                 LocatedBlock{BP-135889517-192.168.2.31-1424411868365:blk_1073741838_1014; getBlockSize()=9370439; corrupt=false; offset=134217728; locs=[192.168.2.31:50010]}]

  lastLocatedBlock=LocatedBlock{BP-135889517-192.168.2.31-1424411868365:blk_1073741838_1014; getBlockSize()=9370439; corrupt=false; offset=134217728; locs=[192.168.2.31:50010]}

  isLastBlockComplete=true

}