背景
文件系统是操作系统用于明确存储设备(常见的是磁盘,也有基于NAND Flash的固态硬盘)或分区上的文件的方法和数据结构;即在存储设备上组织文件的方法。
操作系统中负责管理和存储文件信息的软件机构称为文件管理系统,简称文件系统。文件系统由三部分组成:文件系统的接口,对对象操纵和管理的软件集合,对象及属性。
从系统角度来看,文件系统是对文件存储设备的空间进行组织和分配,负责文件存储并对存入的文件进行保护和检索的系统。具体地说,它负责为用户建立文件,存入、读出、修改、转储文件,控制文件的存取,当用户不再使用时撤销文件等。
windows常见的文件系统
FAT /FAT32
FAT 文件系统原理:http://blog.csdn.net/baishuitiany/article/details/12492549
FAT32 解析 :https://blog.csdn.net/tq384998430/article/details/53414142
NTFS
NTFS 解析:https://www.cnblogs.com/mwwf-blogs/archive/2015/05/04/4467687.html
linux下常见文件系统
文件系统Ext2/Ext3/Ext4
Linux中的Ext2、ext3、ext4文件系统:https://blog.csdn.net/m0_37672324/article/details/80556299
NFS网络文件系统
linux NFS网络文件系统:http://www.cnblogs.com/caicairui/p/8452261.html
云存储与分布式文件系统
参考:https://www.cnblogs.com/langren1992/p/5432517.html
GFS:
google file system:http://blog.csdn.net/kevin_zhao_zl/article/details/79215992
Lustre :
群集文件系统Lustre :http://blog.csdn.net/tengh/article/details/9533941
FastDFS:
轻量型分布式文件系统FastDFS :http://blog.csdn.net/qq_39158155/article/details/76602421
GPFS:
并行共享文件系统GPFS:http://blog.csdn.net/jznsmail/article/details/5502840
TFS:
TFS是由淘宝开发的云存储文件系统,其主要面向海量非结构化数据存储问题提供服务
http://www.itdaan.com/blog/2016/03/15/6ac272ae298d.html
Hadoop文件系统:
什么是分布式文件系统?
当数据集的大小超出一台独立的计算机存储能力时候,有必要对其分区并存储到多台单独的计算机上。 管理网络中跨多台计算机存储的文件系统称为分布式文件系统。
hadoop文件系统:
文件系统 | URI方案 | Java实现 (org.apache.hadoop) | 定义 |
Local | file | fs.LocalFileSystem | 支持有客户端校验和本地文件系统。带有校验和的本地系统文件在fs.RawLocalFileSystem中实现。 |
HDFS | hdfs | hdfs.DistributionFileSystem | Hadoop的分布式文件系统。 |
HFTP | hftp | hdfs.HftpFileSystem | 支持通过HTTP方式以只读的方式访问HDFS,distcp经常用在不同的HDFS集群间复制数据。 |
HSFTP | hsftp | hdfs.HsftpFileSystem | 支持通过HTTPS方式以只读的方式访问HDFS。 |
HAR | har | fs.HarFileSystem | 构建在Hadoop文件系统之上,对文件进行归档。Hadoop归档文件主要用来减少NameNode的内存使用。 |
KFS | kfs | fs.kfs.KosmosFileSystem | Cloudstore(其前身是Kosmos文件系统)文件系统是类似于HDFS和Google的GFS文件系统,使用C++编写。 |
FTP | ftp | fs.ftp.FtpFileSystem | 由FTP服务器支持的文件系统。 |
S3(本地) | s3n | fs.s3native.NativeS3FileSystem | 基于Amazon S3的文件系统。 |
S3(基于块) | s3 | fs.s3.NativeS3FileSystem | 基于Amazon S3的文件系统,以块格式存储解决了S3的5GB文件大小的限制。 |