FastDFS集群的心得体会

最新推荐文章于 2023-05-10 17:27:21 发布

正在输入中…………

最新推荐文章于 2023-05-10 17:27:21 发布

阅读量311

点赞数 1

分类专栏：存储文章标签： fastdfs

本文链接：https://blog.csdn.net/qq_23435961/article/details/106711617

版权

存储专栏收录该内容

4 篇文章 0 订阅

订阅专栏

FastDFS集群

FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。非常适合用来存储用户图片、视频、文档等文件为载体的在线服务，如相册网站、视频网站等等。对于互联网应用，和其他分布式文件系统相比，优势非常明显

FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

集群架构

来看一张官网提供的集群图片，如下图：

在这里插入图片描述

可以看到，

Client端可以有多个，也就是同时支持多个客户端对FastDFS集群服务进行访问；

Tracker是跟踪器，负责协调Client与Storage之间的交互，为了实现高可用性，需要用多个Tracker来做为跟踪器；

Storage是专门用来存储东西的，而且是分组进行存储的，每一组可以有多台设备，这几台设备存储的内容完全一致，这样做也是为了高可用性，当现有分组容量不够时，我们可以水平扩容，即增加分组来达到扩容的目的。另外需要注意的一点是，如果一组中的设备容量大小不一致，比如设备A容量是80G，设备B的容量是100G，那么这两台设备所在的组的容量会以小的容量为准，也就是说，当存储的东西大小超过80G时，我们将无法存储到该组中了。

Client端在与Storage进行交互的时候也与Tracker cluster进行交互，说的通俗点就是Storage向Tracker cluster进行汇报登记，告诉Tracker现在自己哪些位置还空闲，剩余空间是多大。

文件上传

看一张文件上传的原理图

在这里插入图片描述

解释：

①、Client想上传图片，它先向Tracker进行询问；

②、Tracker查看一下登记信息之后，告诉Client哪个storage当前空闲，Tracker会把IP和端口号都返回给Client；

③、Client在拿到IP和端口号之后，便不再需要通过Tracker，直接便向Storage进行上传图片，Storage在保存图片的同时，会向Tracker进行汇报，告诉Tracker它当前是否还留有剩余空间，以及剩余空间大小。

④、汇报完之后，Storage将服务器上存储图片的地址返回给Client，Client可以拿着这个地址进行访问图片。

文件下载

看一下文件下载流程图

在这里插入图片描述

解释：

①、client询问tracker下载文件的storage，参数为文件标识（卷名和文件名）；
②、tracker返回一台可用的storage；
③、 client直接和storage通讯完成文件下载。

搭建FastDFS集群

看一下我们线上FastDFS集群的架构图

在这里插入图片描述

我们使用6台虚拟机，只用了group1，如果需要增加group，参考文末说明自行添加。
操作系统安装参考地址https://blog.csdn.net/qq_23435961/article/details/106693857

名称	IP地址	应用
tracker01	192.168.0.1	FastDFS,libfastcommon
tracker02	192.168.0.2	FastDFS,libfastcommon
storage01	192.168.0.10	FastDFS,libfastcommon,nginx,fastdfs-nginx-module
storage02	192.168.0.11	FastDFS,libfastcommon,nginx,fastdfs-nginx-module
nginx01	192.168.0.100	nginx,keepalived
nginx02	192.168.0.101	nginx,keepalived
VIP	192.168.0.200	-

软件说明：

名称	说明
CentOS	7.6（安装系统）
libfastcommon	FastDFS分离出的一些公用函数包
FastDFS	FastDFS本体
fastdfs-nginx-module	FastDFS和nginx的关联模块，解决组内同步延迟问题
nginx	nginx 1.16.1（CentOS 7 下YUM可以安装的最新版本）

1、编译环境准备

#安装编译环境
$ yum groups install Development Tools -y
$ yum install perl -y
$ mkdir -p /opt/fastdfs /data/fastdfs
$ cd /opt/fastdfs  #为下一步下载源码做准备

说明：/opt/fastdfs目录存放所有安装包；/data/fastdfs目录是数据存储位置。

2、安装libfastcommon

#下载文件
$ wget https://github.com/happyfish100/libfastcommon/archive/V1.0.39.tar.gz
$ mv V1.0.39.tar.gz libfastcommon-1.0.39.tar.gz
$ tar -zxvf libfastcommon-1.0.39.tar.gz
$ cd libfastcommon-1.0.39/
$ ./make.sh
$ ./make.sh install

3、安装FastDFS

$ wget https://github.com/happyfish100/fastdfs/archive/V5.11.tar.gz
$ mv V5.11.tar.gz fastdfs-5.11.tar.gz
$ tar -zxvf fastdfs-5.11.tar.gz
$ cd fastdfs-5.11/
$ ./make.sh
$ ./make.sh install
#配置文件准备
$ cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf #tracker节点
$ cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf #storage节点
$ cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf #客户端文件，测试用
$ cp /opt/fastdfs/fastdfs-5.11/conf/http.conf /etc/fdfs/ #供nginx访问使用
$ cp /opt/fastdfs/fastdfs-5.11/conf/mime.types /etc/fdfs/ #供nginx访问使用

①、tracker server配置:

$ vim /etc/fdfs/tracker.conf
#需要修改的内容如下
port=22122 # tracker服务器端口（默认22122,一般不修改）
base_path=/data/fastdfs # 存储日志和数据的根目录
#编辑启动文件
$ vim /usr/lib/systemd/system/fastdfs-tracker.service
[Unit]
Description=The FastDFS File server
After=network.target remote-fs.target nss-lookup.target
 
[Service]
Type=forking
ExecStart=/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf start
ExecStop=/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf stop
ExecRestart=/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart
 
[Install]
WantedBy=multi-user.target

启动tracker server

$ systemctl daemon-reload
$ systemctl enable fastdfs-tracker.service
$ systemctl start fastdfs-tracker.service
$ netstat -tulnp #查看服务是否启动，端口是否打开

②、storage server配置

$ vim /etc/fdfs/storage.conf
#需要修改的内容如下
port=23000 # storage服务端口（默认23000,一般不修改）
base_path=/data/fastdfs # 数据和日志文件存储根目录
store_path0=/data/fastdfs # 第一个存储目录
tracker_server=192.168.0.1:22122 # tracker服务器IP和端口
tracker_server=192.168.0.2:22122 # tracker服务器IP和端口
http.server_port=8888 # http访问文件的端口(默认8888,看情况修改,和nginx中保持一致)
#编辑启动文件
$ vim /usr/lib/systemd/system/fastdfs-storage.service
 
[Unit]
Description=The FastDFS File server
After=network.target remote-fs.target nss-lookup.target
 
[Service]
Type=forking
ExecStart=/usr/bin/fdfs_storaged /etc/fdfs/storage.conf start
ExecStop=/usr/bin/fdfs_storaged /etc/fdfs/storage.conf stop
ExecRestart=/usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart
 
[Install]
WantedBy=multi-user.target

启动storage server

$ systemctl enable fastdfs-storage.service
$ systemctl start fastdfs-storage.service
$ netstat -tulnp #查看服务是否启动，端口是否打开
#查看集群状态
$ fdfs_monitor /etc/fdfs/storage.conf list
[2018-11-06 00:00:00] DEBUG - base_path=/data/fastdfs/storage, connect_timeout=30, network_timeout=60, tracker_server_count=2, anti_steal_token=0, anti_steal_secret_key length=0, use_connection_pool=0, g_connection_pool_max_idle_time=3600s, use_storage_id=0, storage server id count: 0
server_count=2, server_index=0
tracker server is 192.168.0.1:22122
group count: 1
Group 1:
...

③、Client配置

$ vim /etc/fdfs/client.conf
#需要修改的内容如下
base_path=/data/fastdfs
tracker_server=192.168.0.1:22122 # tracker服务器IP和端口
tracker_server=192.168.0.2:22122 # tracker服务器IP和端口
 
#保存后测试,返回ID表示成功 如：group1/M00/00/00/xx.tar.gz
$ fdfs_upload_file /etc/fdfs/client.conf testfile

4、安装nginx和fastdfs-nginx-module

下载nginx module

$ wget https://github.com/happyfish100/fastdfs-nginx-module/archive/V1.20.tar.gz
$ mv V1.20.tar.gz fastdfs-nginx-module-1.20.tar.gz
$ tar -zxvf fastdfs-nginx-module-1.20.tar.gz
 
#配置config文件
$ vi fastdfs-nginx-module-1.20/src/config
修改内容如下:（将local替换,:%s+/usr/local/+/usr/+g）:
ngx_module_incs="/usr/include/fastdfs /usr/include/fastcommon/"
CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"
 
#配置mod_fastdfs.conf文件
$ cp /opt/fastdfs/fastdfs-nginx-module-1.20/src/mod_fastdfs.conf /etc/fdfs
$ vim /etc/fdfs/mod_fastdfs.conf
修改内容如下:
connect_timeout=10  #客户端连接超时
tracker_server=192.168.0.1:22122  #跟踪器,如果有多个则多行
tracker_server=192.168.0.2:22122
url_have_group_name =true   #访问链接前加上组名
base_path=/data/fastdfs
store_path0=/data/fastdfs   #文件存储路径
 
#复制FastDFS的部分配置文件到/etc/fdfs目录
$ cp /opt/fastdfs/fastdfs-5.11/conf/http.conf /etc/fdfs/
$ cp /opt/fastdfs/fastdfs-5.11/conf/client.conf /etc/fdfs/

安装nginx，（此处选择yum安装，锻炼一下给nginx添加module）

#安装一些依赖，不然后面编译过程会一直报错
$ yum install gperftools pcre pcre-devel install openssl openssl-devel zlib-devel libxml2 libxml2-dev libxslt-devel gd-devel perl-devel perl-ExtUtils-Embed GeoIP GeoIP-devel GeoIP-data -y
$ yum install nginx -y
# 查看版本及编译参数
$ nginx -v              #获取相应的版本号,然后wget相应的版本
$ nginx -V              #./configure时用的上

添加nginx module

$ wget http://nginx.org/download/nginx-1.16.1.tar.gz
#注意下载的nginx版本与yum安装版本保持一致
$ tar -zxvf nginx-1.16.1.tar.gz
$ cd nginx-1.16.1/
$ ./configure --prefix=/usr/share/nginx --sbin-path=/usr/sbin/nginx --modules-path=/usr/lib64/nginx/modules --conf-path=/etc/nginx/nginx.conf --error-log-path=/var/log/nginx/error.log --http-log-path=/var/log/nginx/access.log --http-client-body-temp-path=/var/lib/nginx/tmp/client_body --http-proxy-temp-path=/var/lib/nginx/tmp/proxy --http-fastcgi-temp-path=/var/lib/nginx/tmp/fastcgi --http-uwsgi-temp-path=/var/lib/nginx/tmp/uwsgi --http-scgi-temp-path=/var/lib/nginx/tmp/scgi --pid-path=/run/nginx.pid --lock-path=/run/lock/subsys/nginx --user=nginx --group=nginx --with-file-aio --with-ipv6 --with-http_auth_request_module --with-http_ssl_module --with-http_v2_module --with-http_realip_module --with-http_addition_module --with-http_xslt_module=dynamic --with-http_image_filter_module=dynamic --with-http_geoip_module=dynamic --with-http_sub_module --with-http_dav_module --with-http_flv_module --with-http_mp4_module --with-http_gunzip_module --with-http_gzip_static_module --with-http_random_index_module --with-http_secure_link_module --with-http_degradation_module --with-http_slice_module --with-http_stub_status_module --with-http_perl_module=dynamic --with-mail=dynamic --with-mail_ssl_module --with-pcre --with-pcre-jit --with-stream=dynamic --with-stream_ssl_module --with-google_perftools_module --with-debug --with-cc-opt='-O2 -g -pipe -Wall -Wp,-D_FORTIFY_SOURCE=2 -fexceptions -fstack-protector-strong --param=ssp-buffer-size=4 -grecord-gcc-switches -specs=/usr/lib/rpm/redhat/redhat-hardened-cc1 -m64 -mtune=generic' --with-ld-opt='-Wl,-z,relro -specs=/usr/lib/rpm/redhat/redhat-hardened-ld -Wl,-E' --add-module=/opt/fastdfs/fastdfs-nginx-module-1.20/src/
$ make                            #如果之前已经装过nginx，这时只需要编译，不需要安装
$ cp objs/nginx /usr/sbin/nginx
$ systemctl enable nginx
$ systemctl restart nginx
#查看插件是否安装成功：
$ nginx -V

配置nginx访问

#配置nginx.config
$ vim /etc/nginx/nginx.conf中的vi /etc/nginx/conf.d/default.conf
#增加如下内容
server {
        listen 8888; ## 该端口为storage.conf中的http.server_port相同
        server_name localhost;
        location ~/group[0-9]/ {
            root /data/fastdfs;
            ngx_fastdfs_module;
        }
        error_page 500 502 503 504 /50x.html;
        location = /50x.html {
            root html;
        }
    }
#测试下载，用外部浏览器访问刚才已传过的文件,引用返回的ID
http://192.168.0.10:8888/group1/M00/00/00/wKgAQ1pysxmAaqhAAA76tz-dVgg.tar.gz
#弹出下载则目前nginx已经OK

nginx构建中可能会有报错

在make过程中会出现一个报错：/usr/include/fastdfs/fdfs_define.h:15:27: fatal error: common_define.h: No such file or directory
解决方法如下：

修改fastdfs-nginx-module-1.20/src/config文件，修改如下： 
ngx_module_incs="/usr/include/fastdfs /usr/include/fastcommon/" 
CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/" 
然后重新./configure && make，就可以了

5、配置文件访问的负载均衡和高可用

在192.168.0.100和101上安装nginx、keepalived，（生产环境中可以把NGINX负载均衡和keepalived装到tracker server机器上）

yum install -y nginx keepalived

nginx的配置文件如下：

upstream fdfs_group01 {
    server 192.168.0.10:8888 weight=1 max_fails=2 fail_timeout=30s;
    server 192.168.0.11:8888 weight=1 max_fails=2 fail_timeout=30s;
}
server {
    listen 80;
    server_name localhost;
    location /group01{
        proxy_next_upstream http_502 http_504 error timeout invalid_header;
        proxy_pass http://fdfs_group01;
        expires 30d;
    }
}

keepalived配置文件如下：

global_defs {
   router_id LVS_DEVEL
}
 
vrrp_script chk_ngx {
    script "/etc/keepalived/check_nginx.sh"
    interval 2
    weight -5
    fall 3  
    rise 2
}
 
 
vrrp_instance VI_1 {
    interface eno16777984
    state MASTER
    priority 100
    virtual_router_id 11
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
 
    unicast_src_ip 192.168.0.100
 
    unicast_peer {
        192.168.0.101
    }
 
    virtual_ipaddress {
        192.168.0.200
    }
 
    track_script {
       chk_ngx
    }
    notify_master "/etc/keepalived/notify.sh master"  
    notify_backup "/etc/keepalived/notify.sh backup"  
    notify_fault "/etc/keepalived/notify.sh fault"
}

check_nginx.sh

#!/bin/bash

counter=$(ps -C nginx --no-heading|wc -l)
if [ "${counter}" = "0" ]; then
    exit 1
    else
        exit 0
    fi

本例中storage没有配置多个group，如需配置修改storage.conf文件中的group_name和mod_fastdfs.conf文件中group的配置，同时检查nginx中是否配置到对应group的访问。

当我们所有的tracker和storage节点都启动成功之后，我们可以在任意的一个存储节点上查看存储集群的信息，命令：/usr/bin/fdfs_monitor /etc/fdfs/storage.conf，可以看到集群信息。

heck_nginx.sh

#!/bin/bash

counter=$(ps -C nginx --no-heading|wc -l)
if [ "${counter}" = "0" ]; then
    exit 1
    else
        exit 0
    fi

本例中storage没有配置多个group，如需配置修改storage.conf文件中的group_name和mod_fastdfs.conf文件中group的配置，同时检查nginx中是否配置到对应group的访问。

6、故障模拟与恢复

集群安装完成后建议去做一些灾难测试和思考，比如：
①、storage server节点故障和硬盘故障，如何恢复，有何影响；
②、nginx服务宕掉的影响；
③、tracker节点宕掉，或硬盘挂掉，或者元数据丢失如何恢复，有什么影响；
④、如何扩容，数据冗余策略等。

正在输入中…………

关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
1
评论
FastDFS集群的心得体会

FastDFS集群FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。集群架构来看一张官网提供的集群图片，如下图：可以看到，Client端可以
复制链接

扫一扫