FastDFS分布式文件存储服务器和Nginx

什么是FastDFS

• FastDFS是用C语言编写的一款开源的分布式文件系统。FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性护容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。
• FastDFS构架包括Tracker server和Storage server。客户端请求Tracker server进行文件上传、下载，通过Tracker server调度最终由Storage server完成文件上传和下载。
• Tracker server作用是负载均衡和调度，通过Tracker server在文件上传时可以根据一些策略找到Storage server提供文件上传服务。可以将tracker称为追踪服务器或调度服务器。
• Storage server作用是文件存储。客户端上传的文件最终存储在Storage服务器上，Storage server没有实现自己的文件系统而是利用操作系统的文件系统来管理文件，可以将Storage称之为存储服务器
  
  服务端的两个角色：
• Tracker：管理集群，tracker也可以实现集群。每个tracjer节点地位平等。收集Storage集群的状态。
• Storage：实际保存文件Storage分为多个组，每个组之间保存的文件是不同的，每个组内部可以有多个成员，组成员内部保存的内容是一样的，组成员的地位是一致的，没有主从的概念。
  
  
  
  

FastDFS简介

FastDFS的存储策略

• 为了支持大容量，存储节点(服务器)采用了分卷(或分组)的组织方式。存储系统由一个或多个卷组成，卷与卷之间的文件是相互独立的，所有卷的文件容量累加就是整个存储系统中的文件容量。一个卷可以由一台或多台存储服务器组成，一个卷下的存储服务器中的文件都是相同的，卷中的堕胎存储服务器巧了冗余备份和负载均衡的作用。
• 在卷中增加服务器时，同步已有的文件由系统自动完成，同步完成后，系统自动将新增服务器切换到线上提供服务。当存储空间不足或即将耗尽时，可以动态添加卷。只需要增加一台或多台服务器，并将它们配置为一个新的卷，这样就扩大了存储系统的容量。

FastDFS的文件上传过程

• FastDFS向使用者提供基本文件访问接口，比如upload、download、append、delete等，以客户端库的方式提供给用户使用。
• Storage Server会定期的向Tracker Server发送自己的存储信息。当Tracker Server Cluster中的Tracker Server不止一个时，各个Tracker之间的关系时对等的，所以客户端上传时可以选择任意一个Tracker。
• 当Tracker收到客户端上传文件的请求时，会为该文件分配一个可以存储文件的group，当选定了group后就要决定给客户端分配group中的哪一个storage server。当分配好storage server后，客户端向storage发送写文件请求，storage将会为文件分配一个数据存储目录。然后为文件分配一个fileid，最后根据以上的信息生成文件名存储文件。
  
• 客户端上传文件后存储服务器将文件ID返回给客户端，此文件ID用于以后访问该文件的索引信息。文件索引信息包括：组名，虚拟磁盘路径，数据两级目录，文件名。比如：group1/M00/02/44/wKgDrE34E8wAAAAAAAAGkEIYJK42378.sh
• 虚拟磁盘路径：storage配置的虚拟路径，与磁盘选项store_path*对应。如果配置了store_path()则是M00，如果配置了store_path1则是M01，一次类推。
• 数据两级目录：storage服务器在每个虚拟磁盘路径下创建的两级目录，用于存储数据文件。
• 文件名：于文件上传时不同。由于存储服务器根据特定信息生成，文件名包含：原存储、服务器、IP地址、文件创建时间戳、文件大小、随机数和文件拓展名等信息。

FastDFS的文件同步

• 写文件时，客户端将文件写至group内一个storage server即认为写入文件成功，storage server写完文件后，会由后台线程将文件同步至统图group内其他的storage server。
• 每个storage写文件后，同时会写一份binlog，binlog里不包括文件数据，至包含文件名等元信息，这份binlog用于后台同步，storage会记录向group内其他storage同步的速度，以便重启后能接上次的进度继续同步；进度以时间戳的方式进行记录，所以最好能保证集群内所有server的始终保持同步。
• storage的同步进度会作为元数据的一部分汇报到tracker上，tracker在选择读storage的时候会以同步进度作为参考。

FastDFS的文件下载流程

跟upload file一样，在downloadfile时客户端可以选择任意tracker server。tracker发送download请求给某个tracker，必须带上文件名信息，tracker从文件命中解析出文件的group、大小、创建时间等信息，然后为该请求选择一个storage用来服务读请求。

简易的FastDFS构架：

将文件服务器的ip与域名映射：

先做一件事，修改hosts，将文件服务器的ip与域名映射(单机TrackerServer环境)，因为后面很多配置里面都需要去配置服务器地址，ip变了，就只需要修改hosts即可。

打开服务器终端输入指令：

sudo vim /etc/hosts

添加代码：

# 其中liumiao可以自己设置
192.168.0.107 file.liumiao.com

• 效果如下
  

下载安装FastDFS依赖包–libfastcommon：

libfastcommon是从FastDFS和FastDHT中提取出来的公共C函数库，基础环境，安装即可。

下载地址：

https://github.com/happyfish100/libfastcommon/archive/V1.0.7.tar.gz

下载后如下：

解压：

编译、安装

libfastcommon.so安装到了/usr/lib64/libfastcommon.so，但是FastDFS主程序设置的lib目录是/usr/local/lib，所以需要创建软链接。

就是在/user/local/lib中创建一个快捷方式，这个快捷方式可以打开libfastcommon的主程序。

FastDFS的安装和配置

下载FastDFS

https://github.com/happyfish100/fastdfs/archive/V5.05.tar.gz

下载后如下：

解压

编译、安装

FastDFS 服务脚本设置的 bin 目录是 /usr/local/bin， 但实际命令安装在 /usr/bin/ 下，所以，创建软链接：

配置跟踪服务器tracker：

• 在/home/liumiao目录下面也就是家目录下面：创建fastdfs/tracker，用于存储：数据和日志目录地址。
  
  
  

修改配置文件

HTTP服务端口

配置存储服务器storage：

• 在家目录下面创建：用于存储数据和日志目录地址。
  
• 拷贝一份配置文件：
  
  
• 下面是指定：数据和日志目录地址
• 
  
• 还在端口号也需要进行修改：
  

关闭防火墙

启动tracker服务器和启动storage服务器：

# tracker服务器的启动（关闭）
sudo /etc/init.d/fdfs_trackerd start	# （stop关闭）
# storage服务器的启动（关闭）
sudo /etc/init.d/fdfs_storaged start	# （stop关闭）

• 提示：如果修改了配置文件，一定要先关闭服务(stop),再开启服务(start)，否则会一致报错。
  

查看Storage和Tracker是否再通信：

sudo /usr/bin/fdfs_monitor /etc/fdfs/storage.conf

文件上传测试：

• 修改Tracker服务器中的客户端配置文件
  
  
  
• 使用fdfs_upload_file这个命令进行上传文件 /etc/fdfs/client.conf是配置文件的路径表示使用这个配置文件的相关配置进行上传文件 最后就是你要上传的是哪个图片，我要上传的是桌面上的luhan的图片。

fdfs_upload_file /etc/fdfs/client.conf ~/Desktop/luhan.jpeg
# 结果：group1/M00/00/00/wKgBaFs6Hp-AdZJLAAFrpIRq1bY87.jpeg
fdfs_upload_file /etc/fdfs/client.conf ~/Desktop/guanxiaotong.jpg
# 结果：group1/M00/00/00/wKhkHVs66SeAfweBAAAsqH_dx5E281.jpg

• 上传成功后返回文件ID号
  返回的文件ID由group、存储目录、两级子目录、fileid、文件后缀名（由客户端指定，主要用于区分文件类型）拼接而成。
  
  

参考文献：

https://www.cnblogs.com/chiangchou/p/fastdfs.html

Nginx配合FastDFS使用的安装和配置

• 上面的文件上传成功以后，说明我们的FastDFS配置成功了，但是我们无法下载。因此安装Nginx作为服务器以支持Htto方式访问文件。同时，后面安装FastDFS的Nginx模块也需要Nginx环境。
• Nginx只需要安装到StorageServer所在的服务器即可，用于访问文件。（现在用的是单机，TrackerServer和StorageServer在一台服务器上。）

安装Nginx

在服务器上安装nginx之前需要先安装依赖，nginx的依赖有：

• gcc g++依赖库
• pcre依赖库
• zlib依赖库
• ssl依赖库

安装gcc g++依赖

sudo apt-get install build-essential
sudo apt-get install libtool

安装pcre依赖库

sudo apt-get install libpcre3 libpcre3-dev

安装zlib依赖库

sudo apt-get install zlib1g-dev

安装ssl依赖库

sudo apt-get install openssl

下载nginx

https://nginx.org/download/nginx-1.12.1.tar.gz

解压：

使用默认配置：

编译、安装

启动nginx

sudo /usr/local/nginx/sbin/nginx

• 查看nginx的版本及模块
  
  

简单的测试访问文件

• 将 /group1/M00 映射到 /home/liumiao/fastdfs/storage/data
• 因为前面上传的文件保存在了/home/liumiao/fastdfs/storage/data：
  
• 修改nginx.conf，是以tab键缩进的。
  
  
  

重启nginx

由于修改了nginx的配置文件，所以，需要重启nginx

• 先强制杀死nginx进程
  sudo pkill nginx
  再启动nginx
  sudo /usr/local/nginx/sbin/nginx
  
  

使用浏览器访问(显示访问的图片)：

能下载文件就算安装成功。注意和file.liumiao.com使用nginx路由访问不同的是，这里配置 fastdfs-nginx-module 模块，可以重定向文件链接到源服务器取文件。

• http://file.liumiao.com/group1/M00/00/00/wKgBaFs6Hp-AdZJLAAFrpIRq1bY87.jpeg
• http://127.0.0.1/group1/M00/00/00/wKhkHVs66SeAfweBAAAsqH_dx5E281.jpg
• 在别的系统上查看，需要写ip地址：http://192.168.100.29/group1/M00/00/00/wKgBaFs6Hp-AdZJLAAFrpIRq1bY87.jpeg
  

最终部署结构图(盗的图)：可以按照下面的结构搭建环境：

项目中上传和使用图片的流程