hadoop提供了许多文件系统的接口,用户可以使用url方案选取合适的文件系统来实现交互。
1.local
fs.LocalFileSystem
客户端校验和本地文件系统
2.hdfs
hdfs.DistributionFileSystem
hadoop分布式文件系统
3.hftp
hdfs.hftpFileSystem
支持http通过只读的方式访问hdfs,distcp经常用到不同的hdfs集群间复制数据
4.hsftp
hdfs.HsftpFileSystem
支持https通过只读的方式访问hdfs
5.har
fs.HarFileSystem
构建hadoop文件系统之上,对文件进行归档,hadoop归档文件主要用来减少namenode的内存使用
6.kfs
fs.kfs.KosmosFileSystem
Cloudstore文件系统类似于hdfs和Google的gfs文件系统,使用c++编写
7.ftp
fs.ftp.FtpFileSystem
由ftp服务器支持的文件系统
8.S3本地
fs.s3native.NativeS3FileSystem
基于amazon的文件系统
9.S3基于块
fs.s3NativeS3FileSystem
基于amazon的文件系统,解决了5gb大小的限制