分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连,它的设计是基于客户端/服务器模式。
图片来源于网络
如上图所示,应用服务器和文件服务器分别存在于网络当中,而这里的网络,可以是统一子网,也可以是不同子网。服务器对文件的存取,均在网络进行,这样就可以突破常用存储设备的容量限制。
常用分布式文件系统的介绍:
1、Lustre
lustre是一个大规模的、安全可靠的,具备高可用性的集群文件系统,它是由SUN公司开发和维护。
该项目主要的目的就是开发下一代的集群文件系统,可以支持超过10000个节点,数以PB的数量存储系统。
2、Hadoop
hadoop不仅仅是一个用于存储的分布式文件系统,而其设计更是用来在由通用计算设备组成的大型集群上执行分布式应用的框架。
目前主要应用于大数据、区块链等领域。
3、FastDFS
FastDFS是一个开源的分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。
特别适合以文件为载体的在线服务, 如相册网站,视频网站等等。
4、Ceph
Ceph是一个具有高扩展、高可用、高性能、可以提供对象存储、块存储、文件存储的分布式文件系统,它可以提供 PD 级别的存储空间,理论上说,是无上限的。