FastDFS集群与Http访问部署详解

最新推荐文章于 2023-05-18 18:46:58 发布
最新推荐文章于 2023-05-18 18:46:58 发布
阅读量806 收藏 2
点赞数 1
分类专栏： # 进阶之路 文章标签： fastDFS 集群 Nginx http 部署
禁止商用，转载请注明出处。如有不妥之处，望大佬斧正。联系方式：supreme_tt@163.com
本文链接：https://blog.csdn.net/Supreme_Sir/article/details/115033593
版权

一、部署环境

系统&软件版本
VMware Workstation15 Pro
CentOS7.6.1810
fastdfs6.07
fastdfs-nginx-module1.22
libfastcommon1.0.48
nginx1.18.0
Xshell7
Xftp7

二、可能用到的命令

# 修改本机ip
vim /etc/sysconfig/network-scripts/ifcfg-ens33
# 重启网络服务
service network restart

三、单机部署

首先将 fastdfs-6.07.tar.gz、fastdfs-nginx-module-1.22.tar.gz、libfastcommon-1.0.48.tar.gz、nginx-1.18.0.tar.gz 安装包上传至服务器 /home/fastDFS 目录下

1、安装编译环境

yum install git gcc gcc-c++ make automake vim wget libevent -y

2、安装 libfastcommon 基础库

# 当前目录 /home/fastDFS
# 解压 fastDFS 通用安装库
tar -zxvf libfastcommon-1.0.48.tar.gz
cd libfastcommon-1.0.48
./make.sh && ./make.sh install

3、安装 FastDFS

# 当前目录 /home/fastDFS
tar -zxvf fastdfs-6.07.tar.gz
mv fastdfs-6.07 fastdfs
cd fastdfs
./make.sh && ./make.sh install

# 准备配置文件
cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf
cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf
cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf
cp /home/fastDFS/fastdfs/conf/http.conf /etc/fdfs/
cp /home/fastDFS/fastdfs/conf/mime.types /etc/fdfs/

vim /etc/fdfs/tracker.conf
# 需要修改的内容如下
port=22122
base_path=/home/fastDFS

vim /etc/fdfs/storage.conf
# 需要修改的内容如下
port=23000
base_path=/home/fastdfs # 数据和日志文件存储根目录
store_path0=/home/fastdfs # 第一个存储目录
tracker_server=192.168.32.102:22122
http.server_port=8888 # http访问文件的端口(默认8888,看情况修改,和nginx中保持一致)

4、启动 FastDFS

# 启动：start   停止：stop   重启：restart
/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf start
/usr/bin/fdfs_storaged /etc/fdfs/storage.conf start
# 查看所有运行的端口
netstat -ntlp

5、测试上传

vim /etc/fdfs/client.conf
# 需要修改的内容如下
base_path = /home/fastDFS
tracker_server = 192.168.32.102:22122
# 开始测试。返回ID表示成功 如：group1/M00/00/00/xxx.png
/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /home/fastDFS/fastdfs/conf/anti-steal.jpg
# 返回结果：group1/M00/00/00/wKggZmBVdK2AFMxDAABdreSfEnY954.jpg
# 该文件可在 /home/fastDFS/data/00/00 路径下看到

6、安装 fastdfs-nginx-module

# 当前操作目录 /home/fastDFS
tar -zxvf fastdfs-nginx-module-1.22.tar.gz
cd /home/fastDFS/fastdfs-nginx-module-1.22/src
vim config
# 将 ngx_module_incs（第 6 行）和 CORE_INCS（第 15 行）的值做如下修改
ngx_module_incs="/usr/include/fastdfs /usr/include/fastcommon/"
CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"

cp mod_fastdfs.conf /etc/fdfs/

vim /etc/fdfs/mod_fastdfs.conf
# 需要修改的内容如下
tracker_server=192.168.32.102:22122
url_have_group_name=true
store_path0=/home/fastDFS

mkdir -p /var/temp/nginx/client

7、安装 nginx

cd /home/fastDFS/
tar -zxvf nginx-1.18.0.tar.gz
cd nginx-1.18.0
yum -y install pcre-devel openssl openssl-devel
# 添加 fastdfs-nginx-module 模块
./configure --add-module=/home/fastDFS/fastdfs-nginx-module-1.22/src

在这里插入图片描述

# 编译安装
make && make install
# 查看模块是否安装上
/usr/local/nginx/sbin/nginx -V

在这里插入图片描述

vim /usr/local/nginx/conf/nginx.conf
# 添加如下配置
server {
    listen 8888;
    server_name localhost;
    location ~/group[0-9]/ {
    	ngx_fastdfs_module;
    }
}

在这里插入图片描述

8、启动 Nginx

/usr/local/nginx/sbin/nginx

在这里插入图片描述

9、下载测试

# 关闭防火墙 (如果防火墙为开启状态会导致无法下载)
systemctl stop firewalld
http://192.168.32.102:8888/group1/M00/00/00/wKggZmBVdK2AFMxDAABdreSfEnY954.jpg

在这里插入图片描述

四、集群部署

1、 FastDFS集群架构设置

192.168.32.101192.168.32.102192.168.32.103
trackertrackertracker
storage（group1）storage（group1）storage（group2）
nginxnginxnginx

Tips：按照之前的单机方式完成三台服务器的安装后再进行后面部分的操作

2、配置 tracker 集群 三台相同

vim /etc/fdfs/tracker.conf
# 需要修改的内容如下（生产环境中通常使用 2，这里为了测试集群效果先采用轮询方式）
store_lookup=0 # 0是轮询，1是指定组,2是剩余存储空间多的group优先

3、配置 storage 集群

vim /etc/fdfs/storage.conf
# 需要修改的内容如下
group_name=group1 #注意组名 192.168.32.103 配置是 group2
port=23000 #storage 的端口号,同一个组的 storage 端口号必须相同
tracker_server=192.168.32.101:22122
tracker_server=192.168.32.102:22122
tracker_server=192.168.32.103:22122

在这里插入图片描述

4、查看 storage 日志和 tracker 集群信息

cat /home/fastDFS/logs/storaged.log

5、查看存储集群信息

/usr/bin/fdfs_monitor /etc/fdfs/storage.conf

在这里插入图片描述

6、测试上传

# 选择任意一台单机进行上传测试即可
vim /etc/fdfs/client.conf
# 需要修改的内容如下
tracker_server=192.168.32.101:22122
tracker_server=192.168.32.102:22122
tracker_server=192.168.32.103:22122

# 分别进入三台服务器，删除之前单机测试上传时的数据
rm -f /home/fastDFS/data/00/00/*
# 执行上传（为了对后续功能进行验证，这里仅执行一次即可，请勿多次上传）
/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /home/fastDFS/fastdfs/conf/anti-steal.jpg
# 返回结果：group1/M00/00/00/wKggZWBVzh6AFn9GAABdreSfEnY049.jpg

# 分别进入三台服务器存储目录中查看上传结果
cd /home/fastDFS/data/00/00
ll

在这里插入图片描述

Tips：

  1. 由于 192.168.32.101 和 192.168.32.102 这两台服务器在同一组 group1 中，所以这两台机器中都存有本次上传的图片。
  2. 由于 192.168.32.103 属于 group2 分组，所以这台服务器上没有本次上传的图片。

7、 Nginx 结合 FastDFS 集群

vim /etc/fdfs/mod_fastdfs.conf
# 需要修改的内容如下
tracker_server=192.168.32.101:22122
tracker_server=192.168.32.102:22122
tracker_server=192.168.32.103:22122
group_name=group1 # 注意组名 如果是group2 则一定要改

8、下载测试

http://192.168.32.101:8888/group1/M00/00/00/wKggZWBVzh6AFn9GAABdreSfEnY049.jpg
http://192.168.32.102:8888/group1/M00/00/00/wKggZWBVzh6AFn9GAABdreSfEnY049.jpg
http://192.168.32.103:8888/group1/M00/00/00/wKggZWBVzh6AFn9GAABdreSfEnY049.jpg

Tips：由于现在的 FastDFS 为集群模式，所以即使 192.168.32.103 服务器上没有本次上传的图片，也可以进行数据访问。

五、FastDFS配置优化

1、 最大连接数设置

配置文件：tracker.conf 和 storage.conf
参数名：max_connections
缺省值：256

说明：FastDFS为一个连接分配一个task buffer，为了提升分配效率，FastDFS采用内存池的做法。FastDFS老版本直接事先分配 max_connections 个buffer，这个做法显然不是太合理，在max_connections 设置过大的情况下太浪费内存。v5.04对预分配采用增量方式，tracker一次预分配1024个，storage一次预分配256个。

#define ALLOC_CONNECTIONS_ONCE 1024

总的task buffer初始内存占用情况测算方法如下：
改进前：max_connections * buffer_size
改进后：max_connections和预分配的连接中那个小 * buffer_size

使用v5.04及后续版本，可以根据实际需要将 max_connections 设置为一个较大的数值，比如 10240 甚至更大。

注意：如果此时FastDFS server启动报错，则需要将一个进程允许打开的最大文件数调大到超过max_connections。

vim /etc/security/limits.conf （在文件最后即 # End of file 上一行添加，重启系统生效）

* soft nofile 65535

* hard nofile 65535

另外，对于32位系统，请注意使用到的内存不要超过3GB

2、 工作线程数设置

配置文件：tracker.conf 和 storage.conf
参数名： work_threads
缺省值：4

说明：为了避免CPU上下文切换的开销，以及不必要的资源消耗，不建议将本参数设置得过大。为了发挥出
多个CPU的效能，系统中的线程数总和，应等于CPU总数。

对于tracker server，公式为：
work_threads + 1 = CPU数
对于storage，公式为：
work_threads + 1 + (disk_reader_threads + disk_writer_threads) * store_path_count = CPU数

3、storage 目录数设置

配置文件： storage.conf
参数名：subdir_count_per_path
缺省值：256

说明：FastDFS采用二级目录的做法，目录会在FastDFS初始化时自动创建。存储海量小文件，打开了 trunk 存储方式的情况下，建议将本参数适当改小，比如设置为32，此时存放文件的目录数为 32 * 32 = 1024。假如trunk文件大小采用缺省值64MB，磁盘空间为2TB，那么每个目录下存放的trunk文件数均值为：

​ 2TB/(1024 * 64MB) = 32个

4、storage磁盘读写线程设置

配置文件： storage.conf
参数名:disk_rw_separated：磁盘读写是否分离
参数名:disk_reader_threads：单个磁盘读线程数
参数名:disk_writer_threads：单个磁盘写线程数
如果磁盘读写混合，单个磁盘读写线程数为读线程数和写线程数之和，对于单盘挂载方式，磁盘读写线程分别设置为 1 即可
如果磁盘做了RAID，那么需要酌情加大读写线程数，这样才能最大程度地发挥磁盘性能

5、 storage同步延迟相关设置

配置文件： storage.conf
参数名:sync_binlog_buff_interval：将binlog buffer写入磁盘的时间间隔，取值大于0，缺省值为 60s
参数名:sync_wait_msec：如果没有需要同步的文件，对binlog进行轮询的时间间隔，取值大于0，缺省值为200ms
参数名: sync_interval：同步完一个文件后，休眠的毫秒数，缺省值为 0

如果磁盘读写混合，单个磁盘读写线程数为读线程数和写线程数之和，对于单盘挂载方式，磁盘读写线程分别设置为 1 即可
如果磁盘做了RAID，那么需要酌情加大读写线程数，这样才能最大程度地发挥磁盘性能

6、 storage同步延迟相关设置

配置文件： storage.conf
参数名:sync_binlog_buff_interval：将binlog buffer写入磁盘的时间间隔，取值大于0，缺省值为 60s
参数名:sync_wait_msec：如果没有需要同步的文件，对binlog进行轮询的时间间隔，取值大于0，缺省值为200ms
参数名: sync_interval：同步完一个文件后，休眠的毫秒数，缺省值为 0

为了缩短文件同步时间，可以将上述3个参数适当调小即可

源码

相关软件（免费）
配置示例（免费）

--------------------------------------- 人生没有如果，你想要的，请握紧。 ---------------------------------------

Supreme_Sir
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
centos7搭建fastdfs通过nginx访问保姆级教程
qq_30255033的博客
05-24 1077
FastDFS是一个开源的分布式文件系统，她对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。FastDFS服务端有两个角色：跟踪器（tracker）和存储节点（storage）。跟踪器主要做调度工作，在访问上起负载均衡的作用。存储节点存储文件，完成文件管理的所有功能：存储、同步和提供存取接口，FastDFS同时对文件的meta data进行管理。
fastdfs基于http协议的分布式文件系统源码，基于go和js.rar
05-24
fastdfs基于http协议的分布式文件系统源码，基于go和js，它具有高性能、高可靠、无中心、免维护等优点。 ### 大家担心的是这么简单的文件系统，靠不靠谱，可不可以用于生产环境？答案是肯定的，正因为简单所以高效，因为简单所以稳定。 注意：使用 - 支持curl命令上传 - 支持浏览器上传 - 支持HTTP下载 - 支持多机自动同步 - 支持断点下载 - 支持配置自动生成 - 支持小文件自动合并(减少inode占用) - 支持秒传 - 支持跨域访问 - 支持一键迁移（搬迁） - 支持异地备份（特别是小文件1M以下） - 支持并行体验 - 支持断点续传([tus](https://tus.io/)) - 支持docker部署 - 支持自监控告警 - 支持图片缩放 - 支持google认证码 - 支持自定义认证 - 支持集群文件信息查看 - 使用通用HTTP协议 - 无需专用客户端（支持wget,curl等工具） - 类fastdfs - 高性能 （使用leveldb作为kv库） - 高可靠（设计极其简单，使用成熟组件） - 无中心设计(所有节点都可以同时读写) # 优点 - 无依赖(单一文件） - 自动同步 - 失败自动修复 - 按天分目录方便维护 - 支持不同的场景 - 文件自动去重 - 支持目录自定义 - 支持保留原文件名 - 支持自动生成唯一文件名 - 支持浏览器上传 - 支持查看集群文件信息 - 支持集群监控邮件告警 - 支持小文件自动合并(减少inode占用) - 支持秒传 - 支持图片缩放 - 支持google认证码 - 支持自定义认证 - 支持跨域访问 - 极低资源开销 - 支持断点续传([tus](https://tus.io/)) - 支持docker部署 - 支持一键迁移（从其他系统文件系统迁移过来） - 支持异地备份（特别是小文件） - 支持并行体验（与现有的文件系统并行体验，确认OK再一键迁移） - 支持token下载　token=md5(file_md5+timestamp) - 运维简单，
FastDFS (三) --------- FastDFS 的 HTTP 访问
在森林里麋了鹿
04-09 2416
目录一、概述二、准备工作三、安装 Nginx 并且添加 FastDFS 模块四、FastDFS 的 Nginx 访问配置五、FastDFS 的 Nginx 访问启动与测试 一、概述 在文件上传的时候，上传成功的信息中有提示我们可以通过某个路径去访问上传的文件，但是我们直接访问这个路径，却不可以，那么已经上传到 FastDFS 文件系统中的文件，我们如何在浏览器中访问呢 ？ FastDFS 提供了一个 Nginx 扩展模块，利用该模块，我们可以通过 Nginx 访问已经上传到FastDFS 上的文件。 二、
安装fastdfs http访问文件
undefine
04-25 3938
安装编译环境： 文件下载：1.直接用链接下载：2.去官网下载： 安装libfastcommon安装FastDFS配置tracker启动tracker开机自动启动tracker 配置storage开机自动启动storaged 测试通过fdfs_test程序测试
分布式文件系统FastDFS的HTTP访问（配置nginx）
e5bb96的博客
11-30 2258
准备 gcc编译器安装 yum install gcc -y openssl库安装 yum install openssl openssl-devel -y pcre库安装 yum install pcre pcre-devel -y zlib库安装 yum install zlib zlib-devel -y yum install gcc openssl openssl-devel pcre pcre-devel zlib zlib-devel –y fastdfs-nginx-
FastDFS---学习过程记录---FastDFS的HTTP访问
qq_39314972的博客
07-19 624
FastDFS—学习过程记录—FastDFS的HTTP访问 1.安装Nginx并且添加fastDFS的Nginx扩展模块 FastFDS给我们提供了nginx模块的包 解压nginx模块的包 然后需要我们配置src目录下的mod_fastdfs.conf这个文件 下载nginx的包，单独只属于nginx的 进入nginx中，./configure --prefix=/usr/local/nginx_fdfs --add-module=/home/soft/fastdfs-nginx-module-mast
FastDFS集群与Http访问部署详解配置文件.rar
03-20
《FastDFS集群与Http访问部署详解》涉及到的关键技术主要包括FastDFS分布式文件系统、Nginx反向代理服务器以及集群和HTTP访问的配置。FastDFS是一个开源的高性能、轻量级的分布式文件系统，主要解决大容量存储和负载...
fastDFS相关软件.rar
03-20
《FastDFS集群与Http访问部署详解》的博客附件包含了FastDFS的相关软件，这是一套开源的、高性能的、轻量级的分布式文件系统，主要用于解决海量数据存储和负载均衡的问题。FastDFS为互联网量身定制，充分考虑了冗余...
fastdfs集群所需安装包
10-13
《搭建FastDFS集群所需安装包详解》 FastDFS是一款开源的高性能、轻量级的分布式文件系统，专为互联网设计，广泛应用于网站静态资源（如图片、视频等）的存储和分发。在构建FastDFS集群的过程中，我们需要一系列的...
fastDFS部署.rar
最新发布
03-20
1. 集群部署：为了提高可用性和负载均衡，可以部署多台跟踪服务器和存储服务器，形成集群。 2. 快照备份：通过快照技术对FastDFS的数据进行定期备份，提高数据安全性。 3. 容器化部署：利用Docker等容器技术，可以...
FastDFS配置文件详解
02-26
理解并正确配置这三个文件对于成功部署和运行FastDFS至关重要。每个参数都需要根据实际环境进行调整，例如，服务器的硬件资源、网络状况以及应用需求都会影响这些参数的选择。在实际应用中，还需要关注其他方面，如...
部署和访问HTTP接口
jiaofanchen5801的博客
12-14 3774
项目发布Http接口和访问该接口 一、原理：当调用者调用接口的时候是发送url请求，所有类似于我们在浏览器直接输入地址发送请求一样。至于处理请求像现在的mvc框架都可以处理,比如servlet和struts。 二、发布Http接口  1、在maven中的pom.xml中添加相应的依赖包 org.apache.httpcomponents httpclient 4.5.2
03)FastDFS配置nginx 服务，使用http方式访问图片
qq445829096的博客
05-18 1010
FastDFS配置nginx 服务，使用http方式访问图片
fastdfs在CentOS7详细安装教程以及nginx集成fastdfs的模块实现HTTP网址访问文件，适合大量图片存储、特别适合以文件为载体的在线服务，如图片网站，视频网站等
wuyou_1997的博客
11-12 459
1、FastDFS简介 FastDFS是一个开源的轻量级分布式文件系统，为互联网应用量身定做，简单、灵活、高效，采用C语言开发，由阿里巴巴开发并开源。 FastDFS对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载、文件删除）等，解决了大容量文件存储的问题，特别适合以文件为载体的在线服务，如相册网站、文档网站、图片网站、视频网站等等。 FastDFS充分考虑了冗余备份、线...
分布式文件系统 FastDFS 服务端的部署
彭楷淳在 CSDN
12-23 212
FastDFS 百度百科 FastDFS 是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。 FastDFS 为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用 FastDFS 很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。 FastDFS 简介 FastDFS 服务端有两个角色：跟踪器
Centos6.5 踩坑(安装) fastdfs 最正确的姿势
予挚之的博客
04-16 2954
1、准备文件： fastdfs-6.07.tar.gz fastdfs-nginx-module-1.22.tar.gz libfastcommon-1.0.7.tar.gz nginx-1.18.0.tar.gz 2、安装编译工具、库文件等 [root@localhost ~]# yum -y install make zlib zlib-devel gcc-c++ libtool openssl openssl-devel 3、解压准备好的文件 tar -zxvf fastdfs-
FastDFS环境配置及php FastDFS扩展安装
ssoul_liu的博客
04-04 1万+
FastDFS环境配置及php FastDFS扩展安装FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。详细介绍请自行百度(www.baidu.com)。 接下来我们就来具体配置和安装，我的服务器是LNMP 在此之前首先要确定LA
FastDFS 学习笔记
热门推荐
建伟博客
04-14 4万+
一、理论基础 FastDFS比较适合以中小文件为载体的在线服务，比如跟NGINX（APACHE）配合搭建图片服务器。 FastDFS是纯C语言实现，只支持Linux、FreeBSD等UNIX系统。 FastDFS的两个核心概念分别是：Tracker（跟踪器）、Storage（存储节点）         跟踪器Tracker主要做调度工作，相当于mvc中的contro
FastDFS 简单使用教程
陈家二少的博客
10-30 5811
FastDFS 简单使用教程 安装 你问我怎么装，那我就只有问此软件开发者了，要不你也去问他，链接在这https://github.com/happyfish100/fastdfs/wiki 安装遇到的问题 首先声明，这些问题你不一定会遇到，遇到了也不一定能用我这里提供的方法解决，条条大路通罗马，看缘分了！ 1、不要用git下载，自己老老实实下载压缩包，然后在服务器上解压（你问我为什么，因为亲测前...
FastDFS集群部署详解与参数优化：原理与实践
本文档是个人珍藏版，详尽地涵盖了FastDFS的核心概念、架构解析以及集群部署与配置优化。 首先，FastDFS的基本概念包括： 1. 原理与特性：FastDFS采用冗余备份和负载均衡机制，旨在保证数据的可靠性与服务的连续性...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值