当前比较流行的分布式文件系统包括:Lustre、Hadoop、MogileFS、FreeNAS、FastDFS、NFS、OpenAFS、MooseFS、pNFS、以及GoogleFS。
对比:
GlusterFS:主要应用在集群系统中,具有很好的可扩展性。软件的结构设计良好,易于扩展和配置,通过各个模块的灵活搭配以得到针对性的解决方案。 GoogleFS:性能十分好,可扩展性强,可靠性强。用于大型的、分布式的、对大数据进行访问的应用。运用在廉价的硬件上。 FastDFS:一个开源的轻量级分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。 TFS:TFS(Taobao FileSystem)是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统,主要针对海量的非结构化数据,它构筑在普通的Linux机器集群上,可为外部提供高可靠和高并发的存储访问。 综上所述,以上四种文件系统均可用于集群分布式系统,都具有良好的性能以及可扩展性。GlusterFS存储文件是以元数据的存储方式存储的,方便文件的移植和拷贝,并且对硬件和网络要求较高。GoogleFS是针对应用级别的文件系统,对硬件和网络的要求一般,能在廉价的硬件上有良好的可靠性。FastDFS主要是针对互联网中的小文件系统,没有文件索引数据库,整体性能很高。TFS是淘宝使用的文件系统,用于图片存储,在小文件存储上比较有优势,但随着写的增加,读文件的效率会降低。 |
FastDFS的社区活跃度较高,我这边考虑优先选取FastDFS
架构介绍
安装使用常用命令:
重启tracker /usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart
重启storage /usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart
查看系统启动状态 /usr/bin/fdfs_monitor /etc/fdfs/storage.conf
重启nginx /usr/local/nginx/sbin/nginx -s reload
启动nginx /usr/local/nginx
/sbin/nginx -c /usr/local/nginx
/conf/nginx.conf
安装配置步骤:http://www.open-open.com/lib/view/open1435468300700.html 以验证基本无措,需要注意两个命令如下参考:
./configure --prefix=/usr/local/nginx --add-module=/myself_settings/fastdfs-nginx-module/fastdfs-nginx-module/src
ln -s /opt/fastdfs_storage_data/data /opt/fastdfs_storage_data/data/M00
配置nginx的时候 注意location的位置