关闭

浅读HDFS文件上传部分的过程源码

373人阅读 评论(0) 收藏 举报
分类:

FileSystem类的继承结构

 

 

FileSystem的文件注释:

An abstract base class for a fairly generic filesystem. It may be implemented as a distributed filesystem, or as a "local" one that reflects the locally-connected disk.

The local version exists for small Hadoop instances and for testing. All user code that may potentially use the Hadoop Distributed File System should be written to use a FileSystem object.

The Hadoop DFS is a multi-machine system that appears as a single disk. It's useful because of its fault tolerance and potentially very large capacity. The local implementation is LocalFileSystem and distributed implementation is DistributedFileSystem.

FileSystem的文件译文:

一个通用文件系统的抽象基类。可以被分布式文件系统或者本地文件系统实现;如果分布式文件系统实现连接到分布式文件系统。本地文件系统实现的话,将会连接本地磁盘。

本地版本的存在是为了小规模hadoop实例或者测试用。所有的用户代码如果需要使用hdfs的都需要使用FileSystem对象。hdfs是将多个机器组成近视看做是一块磁盘。它的高容错和强大的存储能力是非常有用的。FileSystem的本地实现是LocalFileSystem,分布式实现是DistributedFileSystem。

上传文件源码过程:

第一步:创建配置实例,然后获取FileSystem实例。

 

第一个红色框:如果scheme和authority都为空的话,在if条件语句中get函数中最终调用

返回本地文件系统实例,即为:LocalFileSystem实例。(DEFAULT_FS = file:///可以看出是本地文件系统

 

 

第二个红色框:如果scheme的值为hdfs,则根据authority的值来进行创建DistributedFileSystem实例。

 

 

 

第二步:FSDataOutputStream是hdfs文件系统的输出流。

底层调用:

f是hdfs文件系统的文件路径,overwrite文件存在是否覆盖重写。

 

 

 

第三步:创建本地文件输入流,将本地文件输入流复制到hdfs文件的输出流中。IOUtils是hadoop的一个I/O工具类(自行查看文档,不再介绍)。

 

第四步:关闭文件流即可。

 

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:76090次
    • 积分:2446
    • 等级:
    • 排名:第15779名
    • 原创:165篇
    • 转载:52篇
    • 译文:0篇
    • 评论:12条
    最新评论