Fastdfs安装与配置

FastDFS安装与配置

一、基本概念

简介

FastDFS 是一个开源的高性能分布式文件系统（DFS）。 它的主要功能包括：文件存储，文件同步和文
件访问，以及高容量和负载平衡。主要解决了海量数据存储问题，特别适合以中小文件（建议范围：
4KB < file_size <500MB）为载体的在线服务。
FastDFS设计是用来存储小文件的，过大的文件处理方案是拆分为小文件，可跟踪小文件的上传情况。
如果应用场景都是处理大文件，可能选择其他分布式文件系统方案会更合适。

特性

FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性
能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。
优点：
文件不分块存储，文件和系统中的文件一一对应。
对文件内容做hash处理，避免出现重复文件，节约磁盘空间。
下载文件支持HTTP协议，可基于内置Web Server或外部Web Server。
支持在线扩容，动态添加卷。
支持文件冗余备份和负载均衡。
存储服务器上可以保存文件属性（meta-data）
V2.0 网络通信采用libevent，支持大并发访问，整体性能更好。
缺点：
直接按文件存储，可直接查看文件内容，缺乏文件安全性。
数据同步无校验，存在静默IO问题，降低系统可用性。
单线程数据同步，仅适合存储小文件（1）。
备份数根据存储分卷（分组）决定，缺乏文件备份数设置灵活性。
单个挂载点异常会导致整个存储节点下线。
缺乏多机房容灾支持。
静态的负载均衡机制。
优点与缺点并存，但针对中小型系统已经完全足够使用了。

角色

• Tracker Server：跟踪服务器，主要做调度工作，起到均衡的作用；负责管理所有的 storage
• server和 group，每个 storage 在启动后会连接 Tracker，告知自己所属 group 等信息，并保持周
  期性心跳。
• Storage Server：存储服务器，主要提供容量和备份服务；以 group 为单位，每个 group 内可以
  有多台 storage server，数据互为备份。
• Client：客户端，上传下载数据的服务器，也就是我们自己的项目所部署在的服务器。
• Tracker相当于一个调度中心，上传和下载都通过它来进行分配指定。
• Storage cluster部分，由Volume1、Volume2……VolumeK组成，它们称为卷（或者叫做组），卷与卷
  之间是平行的关系，可以根据资源的使用情况随时增加，卷内服务器文件相互同步备份，以达到容灾的
  目的。

文件上传流程

当服务启动之后，Storage Server会定期的向Tracker Server发送存储信息。如果Tracker Server是集群
形式，则每个Tracker之间的关系是对等的，客户端上传时选择任意一个Tracker即可。
整体流程：当客户端请求Tracker进行上传操作时，会获取存储服务器相关信息，主要包括IP和端口。根
据返回信息上传文件，通过存储服务器写入磁盘，并返回给客户端file_id、路径信息、文件名等信息。

对应流程图如下：

其中，当Tracker收到客户端上传文件的请求时，会为该文件分配一个可以存储文件的group，当选定了
group后就要决定给客户端分配group中的哪一个storage server。
当分配好storage server后，客户端向storage发送写文件请求，storage将会为文件分配一个数据存储
目录。然后为文件分配一个fileid，最后根据以上的信息生成文件名存储文件。
生成的文件名基本格式如下

组名:文件上传后所在的 storage 组名称，在文件上传成功后有 storage 服务器返回， 需要客户
端自行保存。
虚拟磁盘路径: storage 配置的虚拟路径，与磁盘选项 store_path* 对应。如果配置了
store_path0 则是 M00 ，如果配置了 store_path1 则是 M01 ，以此类推。
数据两级目录: storage 服务器在每个虚拟磁盘路径下创建的两级目录，用于存储数据 文件。
文件名:与文件上传时不同。是由存储服务器根据特定信息生成，文件名包含:源存储 服务器 IP 地
址、文件创建时间戳、文件大小、随机数和文件拓展名等信息。

文件下载流程

跟上传一样，在下载时客户端可以选择任意Tracker server。
客户端带文件名信息请求Tracker，Tracker从文件名中解析出文件的group、大小、创建时间等信息，
然后选择一个storage用来服务处理请求，返回对应文件。

文件同步

写文件时，客户端将文件写至group内一个storage server即认为写文件成功，storage server写完文件
后，会由后台线程将文件同步至同group内其他的storage server。
每个storage写文件后，同时会写一份binlog，binlog里不包含文件数据，只包含文件名等元信息，这份
binlog用于后台同步，storage会记录向group内其他storage同步的进度，以便重启后能接上次的进度
继续同步；进度以时间戳的方式进行记录，所以最好能保证集群内所有server的时钟保持同步。
storage的同步进度会作为元数据的一部分汇报到tracker上，tracker在选择读storage的时候会以同步进
度作为参考。

二、FastDFS环境搭建

环境准备(centos7)

名称	说明
libfastcommon	FastDFS分离出来的一些函数包
FastDFS	FastDFS
fastdfs-nginx-module	和nginx关联的模块

编译环境

检查系统是否有安装GCC

gcc –version

安装GCC

yum install git gcc gcc-c++ make automake autoconf libtool pcre pcre-devel zlib
zlib-devel openssl-devel wget vim -y

安装libfastcommon

git clone https://github.com/happyfish100/libfastcommon.git --depth 1

编译安装

cd libfastcommon/
./make.sh && ./make.sh install

安装FastDFS

cd ../ #返回上一级目录
git clone https://github.com/happyfish100/fastdfs.git --depth 1

同样编译安装

cd fastdfs/
./make.sh && ./make.sh install

供nginx访问

cp /usr/local/soft/fastdfs/conf/http.conf /etc/fdfs/
cp /usr/local/soft/fastdfs/conf/mime.types /etc/fdfs/

安装fastdfs-nginx-module

cd ../
git clone https://github.com/happyfish100/fastdfs-nginx-module.git --depth 1
cp /usr/local/soft/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs

安装nginx

如果安装了nginx可以直接添加fastdfs-nginx-modul,然后进行编译安装

下载nginx

wget http://nginx.org/download/nginx-1.15.4.tar.gz 

解压nginx

tar -zxvf nginx-1.15.4.tar.gz

添加fastdfs-nginx-modu

cd nginx-1.15.4/
./configure --add-module=/usr/local/soft/fastdfs-nginx-module/src/

编译安装

make && make install 

如果报错修改fastdfs-nginx-modu/src/config文件
ngx_module_incs="/usr/include/fastdfs /usr/include/fastcommon/"
CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/

单机部署 服务器ip: 192.168.3.13

# /etc/hosts
192.168.3.13 fastdfs.com

tracker配置

mkdir -p /data/fastdfs
vim /etc/fdfs/tracker.conf
#需要修改的内容如下
port=22122 # tracker服务器端口（默认22122,一般不修改）
base_path=/data/fastdfs # 存储日志和数据的根目录

storage配置

# 永久关闭防火墙
systemctl disable firewalld.service
#启动tracker
/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf
#启动storage
/usr/bin/fdfs_storaged /etc/fdfs/storage.conf
# 重启storage
/usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart

client测试

vim /etc/fdfs/client.conf
#需要修改的内容如下
base_path=/data/fastdfs
tracker_server=fastdfs.com:22122 #tracker服务器IP和端口
#保存后测试,返回ID表示成功 如：group1/M00/00/00/wKgDDWDtRu6AMPhBARBlpcz7xUs146.jpg
# 上传文件
fdfs_upload_file /etc/fdfs/client.conf /usr/local/soft/fox.jpg
# 删除文件
fdfs_delete_file /etc/fdfs/client.conf group1/M00/00/00/wKgDCmD1LHaADXrMAAW3EDO1WQ106.jpg

配置nginx访问（client）

vim /etc/fdfs/mod_fastdfs.conf
#需要修改的内容如下
tracker_server=fastdfs.com:22122 #tracker服务器IP和端口
url_have_group_name=true
store_path0=/data/fastdfs
#配置nginx.config
vim /usr/local/nginx/conf/nginx.conf
#添加如下配置
server {
listen 8888; ## 该端口为storage.conf中的http.server_port相同
server_name localhost;
location ~/group[0-9]/ {
ngx_fastdfs_module;
}
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
}
/usr/local/nginx/sbin/nginx #启动nginx
/usr/local/nginx/sbin/nginx -s reload #重启nginx
/usr/local/nginx/sbin/nginx -s stop #停止nginx

lhost;
location ~/group[0-9]/ {
ngx_fastdfs_module;
}
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
}

/usr/local/nginx/sbin/nginx #启动nginx
/usr/local/nginx/sbin/nginx -s reload #重启nginx
/usr/local/nginx/sbin/nginx -s stop #停止nginx

测试： http://fastdfs.com:8888/group1/M00/00/00/wKgDDWDtRu6AMPhBARBlpcz7xUs146.jpg