FastDFS+Nginx 搭建文件服务器 【Easy Peasy】

最新推荐文章于 2023-08-31 16:19:06 发布
最新推荐文章于 2023-08-31 16:19:06 发布
阅读量347 收藏 1
点赞数
分类专栏： 部署运维 文章标签： fastDFS centos nginx
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liuge36/article/details/107069417
版权

写在前面

一个业务系统 总有这样那样的文件 需要保存把。有许多第三方的对象存储，什么阿里腾讯的OSS,COS，还有七牛云啥的。当然也是可以选择没错了，但是可能基于数据安全还有公司成本，或许我们搭建自己的文件服务器也是不错的。不过这样也会多出一些运维成本了。这个取舍就看自己了吧，仁者见仁智者见智。

话不多说，直接开始吧，如果有什么错误的地方，欢迎指正~ 我也还在不断的学习中，大家一起加油！

先来两张架构图：
在这里插入图片描述
在这里插入图片描述

Tracker 就相当于一个主节点，负责管理记录多个Storage节点的元信息。类似于Hadoop HDFS的namenode & datanode 的关系

CentOS软件准备：
Nginx

软件版本链接说明
FastDFSfastdfs-5.08.tar.gz包含Tracker, Storage 和Client 三个组件
FastCommonlibfastcommon-master.20170125.zipFastDFS 依赖的基础库，同一个作者写的
FastDFS的Nginx模块fastdfs-nginx-module-master.20170125.zip借助Nginx提供HTTP下载服务。由于性能不如Nginx，作者从4.05版本后就取消了内置HTTP服务。
Nginxnginx-1.12.2HTTP服务
//FastDFS是C开发的,没有libevent包的装一下即可。ps:Libevent 是一个用C语言编写的、轻量级的开源高性能事件通知库
[root@spark001 fastdfs]# yum -y install libevent

安装

1. 基础依赖库： fastcommon

fastcommon 是作者余庆从FastDFS剥离出来的。

$ unzip libfastcommon-master.20170125.zip && cd libfastcommon-master
$ ./make.sh && ./make.sh install

安装成功后，会输出到/usr/include/fastcommon 目录：
在这里插入图片描述

2.安装FastDFS
$ tar zxvf fastdfs-5.08.tar.gz && cd fastdfs-5.08
$ ./make.sh && ./make.sh install

在这里插入图片描述
2.1 安装成功后，会在 /usr/bin 目录输出若干以 fdfs_ 开头的可执行文件：
在这里插入图片描述

2.2 安装成功后，会在 /etc/fdfs 出现三个文件：
在这里插入图片描述

这三个文件我们不用，直接用 fastdfs-5.08/conf 目录下的：

├── tracker.conf  # tracker server 的配置文件
├── storage.conf  # storage server 的配置文件 
├── client.conf  # 客户端的配置文件
├── http.conf  # fastdfs nginx 模块配置文件，如果不需要Nginx提供HTTP下载服务，可以不要。
├── mime.types # fastdfs nginx 模块配置文件，如果不需要Nginx提供HTTP下载服务，可以不要。
├── storage_ids.conf
└── anti-steal.jpg

执行：

[root@spark001 fastdfs-5.08]# cp conf/* /etc/fdfs/

A 启动 Tracker

在启动之前需要对主节点做一些修改
在这里插入图片描述
主要是以下几项：

bind_addr=
port=22122
base_path=/fastdfs/tracker

tracker 服务主要3个配置：服务侦听地址和端口，
base_path是用来存储meta和log的，
分别是 ${base_path}/data 和 ${base_path}/logs 两个子目录

[root@spark001 ~]# mkdir -p /fastdfs/tracker

启动 trackerd

[root@spark001 bin]# fdfs_trackerd /etc/fdfs/tracker.conf restart
[root@spark001 bin]# pwd
/usr/bin
[root@spark001 bin]#

查看是否启动成功：
在这里插入图片描述

同时，这个时候的日志文件是在：
在这里插入图片描述

B 启动 Storage

由于 Storage 启动的时候，需要主动连接到 Tracker，并周期性的发送心跳，以汇报 storage 的状态信息。

同样，还是要修改一下配置文件：

bind_addr=
port=22122
base_path=/fastdfs/storage
store_path0=/fastdfs/storage/p0
tracker_server=ip:22122

其中：
base_path 是存放数据（比如binlog）和日志的，
store_path0是第一个group的（下面的data目录有256*256的二级子目录），tracker_server 是 trackerd 的地址，以便storage 连接它，并发送心跳。

启动 Storage

[root@spark001 bin]# pwd
/usr/bin
[root@spark001 bin]# fdfs_storaged /etc/fdfs/storage.conf restart
[root@spark001 bin]#

在这里插入图片描述

C 启动 Client

同样是：去到/etc/fdfs
在这里插入图片描述

修改clinet.conf

base_path=/fastdfs/client
tracker_server=ip:22122

其中 base_path 是指定日志输出路径，
tracker_server 是因为 client首先要请求 trackerd 获取调度信息。

[root@spark001 ~]# mkdir -p /fastdfs/client

启动 clinet
同样，进入到/usr/bin
在这里插入图片描述

使用命令测试一下上传功能：

[root@spark001 bin]# /usr/bin/fdfs_test /etc/fdfs/client.conf upload /root/jy.png 
This is FastDFS client test program v5.08

Copyright (C) 2008, Happy Fish / YuQing

FastDFS may be copied only under the terms of the GNU General
Public License V3, which may be found in the FastDFS source kit.
Please visit the FastDFS Home Page http://www.csource.org/ 
for more detail.

[2020-07-01 19:37:37] DEBUG - base_path=/fastdfs/client, connect_timeout=30, network_timeout=60, tracker_server_count=1, anti_steal_token=0, anti_steal_secret_key length=0, use_connection_pool=0, g_connection_pool_max_idle_time=3600s, use_storage_id=0, storage server id count: 0

[2020-07-01 19:37:37] ERROR - file: tracker_proto.c, line: 48, server: 120.27.243.91:22122, response status 28 != 0
[2020-07-01 19:37:37] ERROR - file: tracker_proto.c, line: 48, server: 120.27.243.91:22122, response status 28 != 0
tracker_query_storage fail, error no: 28, error info: No space left on device
[root@spark001 bin]#

出现内存空间不足的问题：这里可以调整一下，来到 tracker.conf
在这里插入图片描述

重启：

[root@spark001 tracker]# /usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart
waiting for pid [15323] exit ...
starting ...
[root@spark001 tracker]#

再次测试上传：
在这里插入图片描述
上传过程会涉及到先跟trackerd交互，然后跟storaged交互，最后返回文件的信息

发现这个时候，图片已经是上传成功了。
在这里插入图片描述

接下来，我们借用Nginx 使得我们可以通过其提供HTTP服务进行文件的访问$下载。

先解压 fastdfs-nginx-module-master.20170125.zip

unzip fastdfs-nginx-module-master.20170125.zip && cd fastdfs-nginx-module-master

安装Nginx

安装前置依赖
yum -y install gcc gcc-c++ autoconf automake make
yum -y install zlib zlib-devel openssl openssl--devel pcre pcre-devel
解压安装
tar -zxvf nginx-1.12.2.tar.gz && cd nginx-1.12.2
./configure --add-module=/root/softs/fastdfs/fastdfs-nginx-module-master/src
make && make install

安装好之后：
在这里插入图片描述
拷贝 mod_fastdfs.conf 这个文件到 /etc/fdfs/
文件位置如下：

[root@spark001 src]# pwd
/root/softs/fastdfs/fastdfs-nginx-module-master/src
[root@spark001 src]# ll
total 76
-rw-r--r-- 1 root 0 33239 Jan 10  2017 common.c
-rw-r--r-- 1 root 0  3479 Jan 10  2017 common.h
-rw-r--r-- 1 root 0   902 Jan 10  2017 config
-rw-r--r-- 1 root 0  3725 Jan 10  2017 mod_fastdfs.conf
-rw-r--r-- 1 root 0 28643 Jan 10  2017 ngx_http_fastdfs_module.c
[root@spark001 src]#

在这里插入图片描述

修改拷贝过去的文件：

base_path=/fastdfs/tmp
tracker_server=ip:22122
group_name=group1
url_have_group_name = true

其中 base_path 是指定日志输出路径，
url_have_group_name 是指是否需要包含group_name ，默认false

在这里插入图片描述

再次回到Nginx这边进行配置

cd /usr/local/nginx/conf
vim nginx.conf

新增：

 server {
         listen       88;
         server_name     120.27.243.x;

         location /group1/M00 {
            ngx_fastdfs_module;
         }
    }

保存退出，启动nginx
在这里插入图片描述
在这里插入图片描述

验证：
在这里插入图片描述

浏览器打开ip:888
在这里插入图片描述
要想在浏览器上看见刚才上传的图片，需要修改一个配置
在这里插入图片描述
修改之后：重启各个服务

/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart
/usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart
/usr/local/nginx/sbin/nginx -s reload

浏览器打开http://ip:88/group1/M00/00/00/rBCc_V78d-CAS1zsAASVqq9IuEg601.png
在这里插入图片描述

好啦，到这里成功搭建了，这样我们就可以在后端代码里面将文件服务器嵌进去了~

其中一些点，有时间，我再深入一下吧。

谢谢~

留歌留歌
关注
专栏目录
FastDFS+Nginx实现文件服务器
沐宇熙IT成长之路
09-19 1万+
安装FastDFS环境 0、前言 操作环境：CentOS7 X64，以下操作都是单机环境。 我把所有的安装包下载到/softpackages/下，解压到当前目录。 先做一件事，修改hosts，将文件服务器的ip与域名映射(单机TrackerServer环境)，因为后面很多配置里面都需要去配置服务器地址，ip变了，就只需要修改hosts即可。 # vim /etc/hosts 增加...
【保姆级】FastDFS+Nginx搭建图片文件服务器，SpringBoot实现本地上传
Geekst的博客
03-14 3966
fastDFS 写在最前： 1、由于是最近做毕设用到了，而原笔记是2年前写的，所以截图里的服务器可能不一样。因为近期（2022.3.14）毕设我重新搭建了一套，并完善了笔记。所以总体来说，没有任何问题，不影响食用，按照步骤搭建可以100%成功！！ 2、本次毕设的环境是CentOS7.6【Linux内核没什么影响的其实】 3、如果有问题，可以评论区留言～ 1 简述 ​ FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大
FastDFS+nginx搭建文件服务器
qq_36363499的博客
11-07 419
这里写自定义目录标题FastDFS介绍FastDFS安装安装 nginx并添加fastdfs - module模块 FastDFS介绍 fastDFS 是以C语言开发的一项开源轻量级分布式文件系统，他对文件进行管理，主要功能有：文件存储，文件同步，文件访问（文件上传/下载）,特别适合以文件为载体的在线服务，如图片网站，视频网站等 FastDFS由跟踪服务器(Tracker Server)、存储服务器(Storage Server)和客户端(Client)构成 Tracker server 追踪服务器 追
FastDFS+Nginx - 本地搭建文件服务器同时实现在外远程访问「端口映射」
最新发布
小吉妙妙屋
08-31 4961
FastDFS+Nginx - 本地搭建文件服务器同时实现在外远程访问
用FastDFS一步步搭建文件管理系统
weixin_30361641的博客
10-18 1677
一、FastDFS介绍 FastDFS开源地址：https://github.com/happyfish100 参考：分布式文件系统FastDFS设计原理 参考：FastDFS分布式文件系统 个人封装的FastDFS Java API：https://github.com/bojiangzhou/lyyzoo-fastdfs-java 1、简介 FastDFS 是一个开源的高性能分...
搭建FastDFS文件服务器
Cooper的博客
08-17 819
搭建FastDFS文件服务器一，准备安装包与环境二，安装 libfastcommon 库 (fastdfs运行所需的C语言函数库)三，安装FastDFS四， FastDFS配置五，放行所需端口六，启动FastDFS并测试七，FastDFS的HTTP访问配置八，HTTP访问启动测试 一，准备安装包与环境 1.准备所需安装包并上传至Linux 2.检查是否安装了 gcc、libevent、libevent-devel yum list installed | grep gcc yum list install
FastDFS+Nginx搭建图片服务器
05-23
FastDFS+Nginx搭建图片服务器。FastDFS是用c语言编写的一款开源的分布式文件系统。FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建...
Docker+FastDFS+Nginx+Lua搭建图片服务器，并实现图片缩略图
01-20
Docker+FastDFS+Nginx+Lua实现图片缩略图1、FastDFS安装1.1、镜像下载1.2、开启tracker容器1.3、开启storage容器1.4、测试2、FastDFS集成Nginx+lua2.1、依赖包下载2.2、安装软件基础包2.3、依赖安装2.4、配置Lua脚本...
fastDFS+Nginx_fastdfs_fastdfs、nginx_fastdfs/nginx_
09-29
本文将详细介绍如何在Linux环境中单机搭建FastDFS+nginx文件管理系统。 首先，我们需要了解FastDFS的基本架构。FastDFS分为Tracker Server和Storage Server两部分。Tracker Server主要负责调度任务，分配文件存储到...
SpringBoot集成FastDFS+Nginx整合基于Token的防盗链的方法
08-26
SpringBoot集成FastDFS+Nginx整合基于Token的防盗链的方法 ...SpringBoot集成FastDFS+Nginx整合基于Token的防盗链的方法可以提供高性能、可靠的文件存储和下载服务，同时保护文件下载链接不被非法访问。
FastDFS+Nginx安装包
06-14
含FastDFS所需安装包及Nginx安装包，同时附有相关安装说明。
fastDFS+Nginx安装包(Linux版本)
12-29
nginx-1.12.0、libfastcommonV1.0.7、FastDFS_v5.05和fastdfs-nginx-module_v1.16
fastdfs+nginx+nginx所需依赖+fdfs-nginx
04-05
包含Nginx和Fastdfs整合的所有依赖包包含fastdfs-nginx-module和libevent以及libfastcommon等等
搭建fastdfs文件服务器
qq_42282792的博客
08-09 435
一、搭建fastdfs文件服务器 1.FastDFS环境准备-tracker 官方环境准备教程：https://github.com/happyfish100/fastdfs/wiki （1）准备软件包 开源地址：https://github.com/happyfish100 （2）安装基础环境 yum install -y gcc gcc-c++ yum -y install libevent （3）安装libfatscommon函数库 tar -zxvf libfastcommon-1.0.42.
Fastdfs文件服务器搭建
qq_43754643的博客
02-03 788
先记录一下成功的喜悦，慢慢会将配置具体怎么搭建分享，具体参照下面的博客，里面有些配置根据自己的需要配置，当然里面有一些配置也有些问题，需要结合自己的具体报错情况处理。 具体参照：docker下的fastdfs建多个跟踪器多个存储器并测试上传、下载、删除_Lou_Lan的博客-CSDN博客_docker fastdfs 多个storage ...
FastDFS文件存储服务器搭建
sun_luming的博客
07-27 710
准备工作（需要的包还是挺多的）： ①获取安装包，自行获取，没有的话我这里准备好了。 链接：https://pan.baidu.com/s/1cjR5PUSV9x2NJ3QBOjCAuw 提取码：1234 包下载下来解压后是这样的： ②把安装包里的内容上传到服务器 mkdir /opt/soft_pkg cd /opt/soft_pkg 然后上传所有需要的包到这个目录，如下图： 第一步：安装gcc cd gcc rpm -Uvh *.rpm --nodeps --force 安装结果： 第二步：安装
Fastdfs+nginx
dylan_liang的博客
11-17 292
FastDFS+Nginx   1.部署环境 已经成功搭建一tracker,两storage的fastdfs系统上 tracker : 192.168.1.31 storage0: 192.168.1.30 storage1: 192.168.1.33   ############只需在storage上操作############# 2.下载两个包,放在/usr/src a) 
FastDFS+Nginx(单点部署)
嘻哈王大头
04-30 994
一、什么是FastDFS FastDFS是由淘宝的余庆先生所开发，是一个轻量级、高性能的开源分布式文件系统，用纯C语言开发，包括文件存储、文件同步、文件访问（上传、下载）、存取负载均衡、在线扩容、相同内容只存储一份等功能，适合有大容量存储需求的应用或系统。做分布式系统开发时，其中要解决的一个问题就是图片、音视频、文件共享的问题，分布式文件系统正好可以解决这个需求。同类的分布式文件系统有谷歌的GFS...
Linux环境搭建FastDFS+nginx实现文件服务器与图片预览
Linux+FastDFS+Nginx的组合可以构建一个高效、稳定的文件服务器，通过Nginx反向代理，不仅可以实现文件的快速访问，还能提供图片预览功能，适用于大规模的文件存储和分发场景。在部署和维护过程中，对Linux系统管理...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值