Linux下使用FastDFS

一、FastDFS的简介

        FastDFS是一个开源的轻量级分布式文件系统，为互联网应用量身定做，简单、灵活、高效，采用C语言开发，由阿里巴巴开发并开源。

        FastDFS对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载、文件删除）等，解决了大容量文件存储的问题，特别适合以文件为载体的在线服务，如相册网站、文档网站、图片网站、视频网站等等。

        FastDFS充分考虑了冗余备份、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

二、FastDFS整体架构

FastDFS有两个主要的角色：Tracker Server 和 Storage Server 。

• Tracker Server：跟踪服务器，管理集群，tracker也可以实现集群。每个tracker节点地位平等。收集Storage集群的状态。
• Storage Server：存储服务器，实际保存文件，分为多个组，每个组之间保存的文件是不同的。每个组内部可以有多个成员，组成员内部保存的内容是一样的，组成员的地位是一致的，没有主从的概念。

三、FastDFS的上传和下载流程 

3.1、上传流程

流程： 

1、客户端client向跟踪服务器Tracker Server发送上传请求。

2、跟踪服务器向客户端返回可用于存储的服务器地址和端口号。

3、客户端根据具体的存储服务器地址和端口号访问存储服务器，进行上传文件。

4、存储服务器Storage Server返回存储文件的ID。

3.2、下载流程

流程： 

1、客户端client携带文件ID向跟踪服务器Tracker Server发送下载文件请求。

2、跟踪服务器向客户端返回存储该文件的server的IP和端口。

3、客户端访问指定的地址和端口，下载文件。

4、存储服务器Storage Server将文件下载到客户端。

四、单节点FastDFS安装

4.1、安装GCC

FastDFS是由C语言编写的，所以需要安装C语言编译器，使用yum命令安装

yum -y install gcc

 我的虚拟机以前已经安装过gcc。

4.2、将所需文件上传到/usr/upload文件夹下

链接：https://pan.baidu.com/s/1Z97ObUNimSMTcX7NdsjEUg?pwd=zukn 提取码：zuk

4.3、安装libfastcommon-master 

4.3.1、解压刚刚上传的libfastcommon-master.zip

#解压刚刚上传的libfastcommon-master.zip:

unzip libfastcommon-master.zip

 #进入解压完成的目录
cd libfastcommon-master

 #编译并且安装
./make.sh 
./make.sh install

下图为两个命令执行成功的界面

 4.4、安装FastDFS

1、首先回到upload目录下

cd /usr/load

2、解压FastDFS的压缩包

tar -zxvf FastDFS_v5.08.tar.gz

3、进入 FastDFS包下

cd FastDFS

 4、编译并安装

./make.sh 

./make.sh install

下图为成功界面

如果安装成功，会看到/etc/init.d/下看到提供的脚本文件：

ll /etc/init.d/ | grep fdfs 

fdfs_trackerd 是tracker启动脚本

fdfs_storaged 是storage启动脚本

能够在 /etc/fdfs/ 目录下看到默认的配置文件模板：

ll /etc/fdfs/

tarcker.conf.sample 是tracker的配置文件模板

storage.conf.sample 是storage的配置文件模板

client.conf.sample 是客户端的配置文件模板

 4.5、配置并启动tracker服务

        FastDFS的tracker和storage在刚刚的安装过程中，都已经被安装了，因此我们安装这两种角色的方式是一样的。不同的是，两种需要不同的配置文件。

        我们要启动tracker，就修改刚刚看到的tracker.conf.sample，并且启动fdfs_trackerd脚本即可。

1、首先将模板文件复制

cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf

2、修改复制后的配置文件

vim /etc/fdfs/tracker.conf

修改内容如下:

base_path=/powershop/tracker                 # 存储日志和数据的根目录

3、新建目录

mkdir -p /powershop/tracker

启动服务

安装过程中，FastDFS已经被设置为了系统服务，我们可以采用熟悉的服务启动方式

service fdfs_trackerd start        # 启动fdfs_trackerd服务，停止用stop

也可以使用脚本进行启动 

启动tracker服务器: /etc/init.d/fdfs_trackerd start

停止tracker服务器: /etc/init.d/fdfs_trackerd stop

检查FastDFS Tracker Server是否启动成功：

ps -ef | grep fdfs_trackerd

设置tracker服务开机启动:

chkconfig fdfs_trackerd on

4.6、配置并启动storage服务

1、首先将模板文件复制

cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf

2、修改复制后的配置文件

vim /etc/fdfs/storage.conf

修改的内容如下:

base_path=/powershop/storage                 # 日志文件存储根目录 

store_path0=/powershop/storage           # 文件存储目录 

tracker_server=192.168.112.133:22122       #  修改为自己的tracker服务器IP和端口

3、新建目录

mkdir -p /powershop/storage

4、启动服务

service fdfs_storaged start   # 启动fdfs_storaged服务，停止用stop

 5、检查FastDFS Tracker Server是否启动成功：

ps -ef | grep fdfs

6、设置storage服务开机启动：

 chkconfig fdfs_storaged on五、

五、使用nginx访问FastDFS

5.1、为什么需要用Nginx访问？

        FastDFS通过Tracker服务器,将文件放在Storage服务器存储，但是同组存储服务器之间需要进入文件复制，有同步延迟的问题。

        假设Tracker服务器将文件上传到了192.168.4.125，上传成功后文件ID已经返回给客户端。此时FastDFS存储集群机制会将这个文件同步到同组存储192.168.4.126，在文件还没有复制完成的情况下，客户端如果用这个文件ID在192.168.4.126上取文件,就会出现文件无法访问的错误。

        而fastdfs-nginx-module可以重定向文件连接到文件上传时的源服务器取文件,避免客户端由于复制延迟导致的文件无法访问错误

5.2、安装fastdfs-nginx-module插件

 回到upload目录下

5.2.1、解压并配置

1、解压

tar -zxvf fastdfs-nginx-module_v1.16.tar.gz

 2、修改config

进入到src目录下

cd fastdfs-nginx-module/src/

编辑config

vim config

使用以下命令

:%s+/usr/local/+/usr/+g     将所有的/usr/local替换为 /usr

替换前:

 替换后:

5.2.2、配置fastdfs-nginx-module与FastDFS关联配置文件

复制 fastdfs-nginx-module 源码中的配置文件到/etc/fdfs 目录， 并修改

cp /usr/upload/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/

vim /etc/fdfs/mod_fastdfs.conf

修改以下配置：

connect_timeout=10                       # 客户端访问文件连接超时时长（单位：秒）

tracker_server=192.168.204.158:22122    # tracker服务IP和端口

url_have_group_name=true                # 访问链接前缀加上组名

store_path0=/powershop/storage            # 文件存储路径

复制 FastDFS 的部分配置文件到/etc/fdfs 目录，否则不支持nginx

cd /usr/upload/FastDFS/conf/
cp http.conf mime.types /etc/fdfs/

 六、安装nginx

安装nginx的依赖库

yum -y install gcc pcre pcre-devel zlib zlib-devel openssl openssl-devel

解压安装包

tar -zxvf nginx-1.10.0.tar.gz

 配置nginx安装包，并指定fastdfs-nginx-model

cd nginx-1.10.0

./configure --prefix=/usr/local/nginx --add-module=/usr/upload/fastdfs-nginx-module/src

 编译并安装

make && make install

七、启动nginx 

配置nginx整合fastdfs-module模块

我们需要修改nginx配置文件：

vim /usr/local/nginx/conf/nginx.conf

将文件中，原来的server 80{ ...} 部分代码替换为如下代码：

server {
        listen       80;
        server_name  image.powershop.com;

        # 监听域名中带有group的，交给FastDFS模块处理
        location ~/group([0-9])/ {
            ngx_fastdfs_module;#获得fastdfs中图片的存在路径  
        }

        location / {
            root   html;
            index  index.html index.htm;
        }

        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }
    }

启动nginx：

./nginx    # 启动nginx

可通过ps -ef | grep nginx查看nginx是否已启动成功

 

八、设置Nginx开机启动

8.1、编写开机启动文件

添加nginx.service文件

vim /lib/systemd/system/nginx.service

文件内容如下:

[Unit]
Description=nginx
After=network.target

[Service]
Type=forking
ExecStart=/usr/local/nginx/sbin/nginx
ExecReload=/usr/local/nginx/sbin/nginx -s reload
ExecStop=/usr/local/nginx/sbin/nginx -s stop
PrivateTmp=true

[Install]
WantedBy=multi-user.target

8.2、设置开机启动

systemctl daemon-reload        #重新加载服务配置

systemctl enable nginx.service #设置为开机启动