FastDFS学习（一）

---

目录：

（1）分布式文件存储系统介绍

 （2）FastDFS-安装-启动

 （3）FastDFS-test命令的上传-下载-删除-查询操作

---

（1）分布式文件存储系统介绍

分布式文件系统 (Distributed File System) 是一个软件/软件服务器，这个软件可以用来管理文件。但这个软件所管理的文件通常不是在一个服务器节点上，而是在多个服务器节点上，这些服务器节点通过网络相连构成一个庞大的文件存储服务器集群，这些服务器都用于存储文件资源，通过分布式文件系统来管理这些服务器上的文件。

         常见的分布式文件系统有：FastDFS、GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS等。

         分布式文件系统与传统文件系统对比

        

传统方式弊端

• • • 如果用户数量多，IO操作比较多，对磁盘访问压力很大
    • 如果磁盘发生故障，会造成数据丢失
    • 存储容量有限

FastDFS简介

FastDFS是一个开源的轻量级分布式文件系统，为互联网应用量身定做，简单、灵活、高效，采用C语言开发，由阿里巴巴开发并开源。

         FastDFS对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载、文件删除）等，解决了大容量文件存储的问题，特别适合以文件为载体的在线服务，如相册网站、文档网站、图片网站、视频网站等等。

         FastDFS充分考虑了冗余备份、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

FastDFS整体架构

         FastDFS文件系统由两大部分构成，一个是客户端，一个是服务端

         客户端通常指我们的程序，比如我们的Java程序去连接FastDFS、操作FastDFS，那我们的Java程序就是一个客户端，FastDFS提供专有API访问，目前提供了C、Java和PHP几种编程语言的API，用来访问FastDFS文件系统。

         服务端由两个部分构成：一个是跟踪器（tracker），一个是存储节点（storage）

         跟踪器（tracker）主要做调度工作，在内存中记录集群中存储节点storage的状态信息，是前端Client和后端存储节点storage的枢纽。因为相关信息全部在内存中，Tracker server的性能非常高，一个较大的集群（比如上百个group）中有3台就足够了。

         存储节点（storage）用于存储文件，包括文件和文件属性（meta data）都保存到存储服务器磁盘上，完成文件管理的所有功能：文件存储、文件同步和提供文件访问等。

 （2）FastDFS-安装-启动

上传这几个文件： 

 首先安装环境：

 

安装 libfastcommon 库

libfastcommon 库是 FastDFS 文件系统运行需要的公共 C 语言函数库

注意：目前最新版本的v1.0.39和最新版的FastDFS5.11不兼容，所有我们这里使用的版本是v1.0.36  下载地址：happyfish100 (YuQing) · GitHub

首先解压：

 

 执行：执行make脚本进行编译 ：./make.sh

 执行make install进行安装： ./make.sh install

安装FastDFS

FastDFS没有Windows版本，不能在Windows下使用。

FastDFS需要安装部署在Linux环境下，我们这里使用的是fastdfs-5.11版本（201901）

下载地址：https://github.com/happyfish100/fastdfs/archive/V5.11.tar.gz 

 解压：

 

执行make脚本进行编译：./make.sh

./可以用sh替换：表示当前目录 

执行make install进行安装：./make.sh install

 查看是否安装成功：能看到这些代表安装成功了

配置文件所在：

 把这两个文件复制到： /etc/fdfs

复制完之后查看： 去掉这些配置文件的后缀名：

 创建目录：/opt/fastdfs/tracker 

首先更改tracker.conf

 修改：文件和日志的保存位置：这个存储的信息是追踪器的信息，而不是上传的文件

修改storage.conf 

 

 创建文件夹：

 修改存储节点：文件和日志的保存目录：注意它不包含上传的文件信息

修改成： 

创建文件夹：

  

 

修改成：

 修改成：

修改：client.conf：

创建文件夹：

 

修改成：

修改成：

 FastDFS启动

FastDFS服务启动需要启动两个脚本：

启动FastDFS的tracker服务

在任意目录下执行：fdfs_trackerd /etc/fdfs/tracker.conf

启动FastDFS的storage服务

在任意目录下执行：fdfs_storaged /etc/fdfs/storage.conf

查看启动进程

 FastDFS重启

重启tracker

fdfs_trackerd /etc/fdfs/tracker.conf restart

重启storage

fdfs_storaged /etc/fdfs/storage.conf restart

FastDFS关闭 

关闭tracker执行命令

在任意目录下执行：fdfs_trackerd /etc/fdfs/tracker.conf stop

关闭storage执行命令

在任意目录下执行：fdfs_storaged /etc/fdfs/storage.conf stop

 或者kill关闭fastdfs，但不建议在线上使用 kill -9 强制关闭，因为可能会导致文件信息不同步问题

有启动的执行命令即为启动成功

启动后查看： 

 启动成功户会帮助我们创建文件目录：

 

 files是具体存储文件的目录data，这个文件FastDFS默认会给我们创建65536个文件夹：

 有这么多的文件夹，你就可以任意存储文件了，但是FastDFS会给你存储的文件进行重命名成随机的字符串

 （3）FastDFS-test命令的上传-下载-删除-查询操作

可以通过fdfs_test、fdfs_upload_appender等命令进行上传下载等操作 

当使用fdfs_test进行上传下载的时候它是具备属性文件的

 fdfs_monitor:查看storage挂载的是哪一个tracker下面： 

 

 查看fdfs_test帮助 

上传aa.jpg：

 成功返回的信息

M00代表这个路径

 查看：

 这是两个文件：一个是上传的文件、一个是474_big的备份文件  -m是属性文件

 查询存到那个集群节点当中：

 文件下载：

 显示下载成功：

在本地文件夹看到下载的文件：

 

 

 删除文件：删除上传文件的备份文件

此时已经删除的474_big的备份文件 

 删除不带big的：