fastDFS分布式文件系统下载安装测试

已于 2024-05-10 00:13:52 修改
阅读量637 收藏 5
点赞数 3
分类专栏： 学习 fastdfs分布式文件系统 文章标签： 数据库
于 2021-09-07 20:18:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39960529/article/details/120164121
版权

fastDFS分布式文件系统

FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。

FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

简介

FastDFS服务端有两个角色：跟踪器（tracker）和存储节点（storage）。跟踪器主要做调度工作，在访问上起负载均衡的作用。
存储节点存储文件，完成文件管理的所有功能：就是这样的存储、同步和提供存取接口，FastDFS同时对文件的metadata进行管理。所谓文件的meta
data就是文件的相关属性，以键值对（key
value）方式表示，如：width=1024，其中的key为width，value为1024。文件metadata是文件属性列表，可以包含多个键值对。
跟踪器和存储节点都可以由一台或多台服务器构成。跟踪器和存储节点中的服务器均可以随时增加或下线而不会影响线上服务。其中跟踪器中的所有服务器都是对等的，可以根据服务器的压力情况随时增加或减少。
为了支持大容量，存储节点（服务器）采用了分卷（或分组）的组织方式。存储系统由一个或多个卷组成，卷与卷之间的文件是相互独立的，所有卷的文件容量累加就是整个存储系统中的文件容量。一个卷可以由一台或多台存储服务器组成，一个卷下的存储服务器中的文件都是相同的，卷中的多台存储服务器起到了冗余备份和负载均衡的作用。
在卷中增加服务器时，同步已有的文件由系统自动完成，同步完成后，系统自动将新增服务器切换到线上提供服务。
当存储空间不足或即将耗尽时，可以动态添加卷。只需要增加一台或多台服务器，并将它们配置为一个新的卷，这样就扩大了存储系统的容量。
FastDFS中的文件标识分为两个部分：卷名和文件名，二者缺一不可。

以上都是百度百科的内容，作为了解了解哈

下载相关压缩包

下载fastdfs相关压缩包地址
在这里插入图片描述
这里需要下载图中这三个压缩文件到服务器中，还有nginx也需要，这里我下载的是目前最新版本nginx-1.20.1.tar.gz 官网下载地址

百度网盘下载资源：
链接：https://pan.baidu.com/s/1sUNAU6yua9VfLl-2A4EjdA
提取码：1221

centos7安装

1、安装gcc（编译时需要）

FastDFS是C语言开发，安装FastDFS需要先将官网下载的源码进行编译，编译依赖gcc环境，如果没有gcc环境，需要安装gcc
yum install -y gcc gcc-c++

2、安装libevent（运行时需求）

若安装了桌面图形界面，就不需要安装；FastDFS依赖libevent库；
yum -y install libevent

之后安装fastdfs系统，，安装需要按顺序来，libfastcommon ——>fastdfs——>fastdfs-nginx-module顺序来进行操作。最后需要装个nginx来进行外部转发访问文件。

具体步骤如下：

3、安装fastdfs相关压缩包

在这里插入图片描述

3.1安装libfastcommon

将几个压缩包上传至/usr/local/目录下
1.先解压缩 libfastcommon.zip，cd进入/usr/local/目录下执行：
解压缩命令：unzip libfastcommon.zip
/
2.cd 进入/usr/local/libfastcommon-master/ 下，接着进行编译和安装
./make.sh #编译
./make.sh install #安装
/
3.libfastcommon安装好后会在/usr/lib64 目录下生成 libfastcommon.so 库文件
cd 进入 /usr/lib64目录下，搜索libfastcommon.so是否存在
ls | grep libfastcommon.so
/
4.由于FastDFS程序引用usr/lib目录所以需要将/usr/lib64下的库文件拷贝至/usr/lib下
cp libfastcommon.so /usr/lib

3.2安装tracker

1.先解压缩 fastdfs.zip，cd进入/usr/local/目录下执行：

解压缩命令：unzip fastdfs.zip
/
2.cd 进入/usr/local/fastdfs-master/ 下，接着进行编译和安装
./make.sh && ./make.sh install #编译之后接着进行安装
/
3.安装成功将安装目录下的conf下的文件拷贝到/etc/fdfs/下
cp /usr/local/fastdfs-master/conf/* /etc/fdfs/
/
4.配置和启动tracker
cp 进入 /etc/fdfs/目录下
修改tracker.conf vi tracker.conf
.
base_path=/home/yuqing/fastdfs 改为: base_path=/home/fastdfs
修改base_path
http.server_port 改为： 80
修改http.server_port
创建 /home/fastdfs 目录
mkdir /home/fastdfs
启动tracker，运行命令：
/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart
注：(启动成功后会在/home/fastdfs/ 目录下生成两个目录， 一个是data数据，一个是log日志)。
/

3.3配置和启动storage

cd 进入 /etc/fdfs/目录下
修改tracker.conf vi storage.conf
.
group_name=group1 #配置组名
在这里插入图片描述
base_path=/home/yuqing/fastdfs 改为: base_path=/home/fastdfs
在这里插入图片描述
#store存放文件的位置(store_path)
store_path0=/home/yuqing/fastdfs 改为：store_path0=/home/fdfs_storage
在这里插入图片描述
#配置tracker服务器:IP
tracker_server=192.168.43.135:22122
在这里插入图片描述
#配置http端口
http.server_port=88
在这里插入图片描述
创建 /home/fdfs_storage 目录
mkdir /home/fdfs_storage
启动storage， 运行命令
/usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart
启动完成后进入 /home/fdfs_storage/data 目录下，显示目录如下：
在这里插入图片描述

4、使用FastDFS自带工具测试

cd 进入到 /etc/fdfs/目录下
修改client.conf ; vi client.conf，修改基本路径和tracker_server如下：
在这里插入图片描述
拷贝上传一张图片到指定目录下，这里我测试上传到 /usr/local/test/目录下
在这里插入图片描述
进行测试，运行如下：（运行测试程序，读取/etc/fdfs/client.conf 文件，上传/usr/local/test/目录下的zhang.jpg文件）
/usr/bin/fdfs_test /etc/fdfs/client.conf upload /usr/local/test/zhang.jpg
在这里插入图片描述
注：由于现在还没有和nginx整合无法使用http下载。

5、FastDFS 和nginx整合

1.先解压缩 fastdfs-nginx-module.zip，cd进入/usr/local/目录下执行：

解压缩命令：unzip fastdfs-nginx-module.zip
/
2.cd 进入/usr/local/fastdfs-nginx-module-master/src
cd /usr/local/fastdfs-nginx-module-master/src
/
3.修改config文件，将文件中的所有 /usr/local/ 路径改为 /usr/
cp /usr/local/fastdfs-master/conf/* /etc/fdfs/
在这里插入图片描述
4.将fastdfs-nginx-module-master/src下的mod_fastdfs.conf拷贝至/etc/fdfs/下
cp mod_fastdfs.conf /etc/fdfs/
并修改 /etc/fdfs/mod_fastdfs.conf 的内容；vi /etc/fdfs/mod_fastdfs.conf
修改tracker.conf vi tracker.conf
.
base_path=/tmp 修改为 base_path=/home/fastdfs
tracker_server=192.168.43.135:22122
url_have_group_name=true #url中包含group名称
store_path0=/home/fdfs_storage #指定文件存储路径（上面配置的store路径）
5.将libfdfsclient.so拷贝至/usr/lib下
cp /usr/lib64/libfdfsclient.so /usr/lib/
创建nginx/client目录
mkdir -p /var/temp/nginx/client

5、Nginx的安装

1.先解压缩 nginx-1.20.1.tar.gz，cd进入/usr/local/目录下执行：

解压缩命令：tar -zxvf nginx-1.20.1.tar.gz
/
2.安装nginx的依赖库
yum install pcre
yum install pcre-devel
yum install zlib
yum install zlib-devel
yum install openssl
yum install openssl-devel
/

3.进入nginx解压的目录下：cd /usr/local/nginx-1.20.1/
命令执行如下：

./configure \
--prefix=/usr/local/nginx \
--pid-path=/var/run/nginx/nginx.pid \
--lock-path=/var/lock/nginx.lock \
--error-log-path=/var/log/nginx/error.log \
--http-log-path=/var/log/nginx/access.log \
--with-http_gzip_static_module \
--http-client-body-temp-path=/var/temp/nginx/client \
--http-proxy-temp-path=/var/temp/nginx/proxy \
--http-fastcgi-temp-path=/var/temp/nginx/fastcgi \
--http-uwsgi-temp-path=/var/temp/nginx/uwsgi \
--http-scgi-temp-path=/var/temp/nginx/scgi \
--add-module=/usr/local/fastdfs-nginx-module-master/src

4.编译并安装
make && make install
/
5.安装成功后查看生成的目录，如下所示：
在这里插入图片描述
6.拷贝配置文件到 /etc/fdfs 下；
cd 进入 /usr/local/fastdfs-master/conf目录下
cd /usr/local/fastdfs-master/conf # cd进入
cp http.conf mime.types /etc/fdfs/ # 拷贝
7. 修改nginx配置文件
cd 进入 /usr/local/nginx/conf/目录下：
mkdir /usr/local/nginx/logs # 创建logs目录
cd /usr/local/nginx/conf/
vi nginx.conf
做如下修改：

pid        /usr/local/nginx/logs/nginx.pid;

在这里插入图片描述

location /group1/M00/ {
    #root   html;
    #index  index.html index.htm;
    root /home/fdfs_storage/data;
    ngx_fastdfs_module;
}

在这里插入图片描述

说明：location /group1/M00/：group1为nginx服务FastDFS的分组名称，M00是FastDFS自动生成编号，对应store_path0=/home/fdfs_storage，如果FastDFS定义store_path1，这里就是M01

6、Nginx的启动

cd /usr/local/nginx/sbin/
./nginx

7、查询nginx进程

ps -ef | grep nginx

在这里插入图片描述

8、在浏览器中访问上传到fastDFS的图片

http://192.168.43.135/group1/M00/00/00/wKgrh2E3b0-Ad-YcAADOultLKik812.jpg
在这里插入图片描述

本地虚拟机开放，让同局域网下的其他电脑可进行连接访问

需要配置虚拟网络编辑器
1.打开虚拟机，点击编辑——>虚拟网络编辑器
在这里插入图片描述
2.如同点击NAT设置
在这里插入图片描述
3.点击添加
在这里插入图片描述
4.填入相关信息，并点击确定，在这里插入图片描述
5. 点击确定在这里插入图片描述
6.点击应用
在这里插入图片描述
7.测试
在同网段的另一台电脑上通过浏览器访问你这台宿主机ip加刚刚配置的主机端口，访问fastdfs上传的文件
我本地宿主机IP是10.xx.xx.xx 端口是8080
文件访问地址：
http://10.xx.xx.xx:8080/group1/M00/00/00/wKgrh2E3b0-Ad-YcAADOultLKik812.jpg
在这里插入图片描述

在此仅作为学习记录一下

参考链接：
FastDFS原理和过程
Centos7 上安装 FastDFS ——【测试可用】
腾讯课堂【fastDFS】教学视频

所遇问题：
启动项目，本地可以访问，其他电脑却无法访问？（防火墙的出站和入站规则）
别的电脑访问另外一台电脑当中的虚拟机项目
Linux防火墙命令大全
fastDFS的storage启动失败
fastDFS安装时，./make.sh编译时出错找不到./make.sh: line 99: perl: command not found
linux fastdfs安装问题
Linux安装与卸载Nginx

勿忘初心1221
关注
  • 3
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
分布式文件系统FastDFS
dyuan134的博客
04-17 805
在内存中记录集群中group和storage server的状态信息，是连接Client和Storage server的枢纽。FastDFS支持HTTP方式下载文件，不建议使用内置web server，推荐使用外部web server，如果apache或nginx。文件ID由FastDFS生成，作为文件访问凭证。只有两个角色，tracker server和storage server，不需要存储文件索引信息。client询问tracker可以下载指定文件的storage，参数为文件ID（组名和文件名）；
5款优秀的文档管理系统
热门推荐
不安分的猿人的专栏
03-26 11万+
1.easyopen 一个简单易用的接口开放平台，平台封装了常用的参数校验、结果返回等功能，开发者只需实现业务代码即可。 技术点 加密算法（MD5、AES、RSA） Netty（编解码、长连接、断开重连） 限流（漏桶策略、令牌桶策略） 权限（RBAC、校验） session（单机、分布式） 注解（文档生成） token（jwt、accessToken） SDK（Java、C#...
FastDFS分布式文件系统入门
小易
05-29 1447
FastDFS（Fast Distributed File System）是一款开源的分布式文件系统，它提供了高性能、高可靠性、高扩展性和高容错性的分布式文件存储解决方案。FastDFS采用了类似于Google File System（GFS）的架构，它的设计目标是解决大规模数据存储和高访问速度的问题。分布式架构：FastDFS采用分布式的设计，能够通过多台服务器共同完成文件存储和访问的任务，可以实现存储容量的无限扩展。
分布式文件系统FastDFS看这一篇就够了(文件上传下载、单机部署及集群部署)_go-fastdfs漏洞
最新发布
2401_84911322的博客
05-13 979
FastDFS是基于互联网应用的开源分布式文件系统，主要用于大中型网站存储资源文件，如图片、文档、音频、视频等。FastDFS采用类似GFS的架构，用纯C语言实现，支持Linux、FreeBSD、AIX等UNIX 系统。用户端只能通过专有API对文件进行存取访问，不支持POSIX接口方式。准确地讲，GFS以及 FastDFS、mogileFS、HDFS、TFS等类GFS系统都不是系统级的分布式文件系统，而是应用级的分布式文件存储服务。FastDFS简介。
FastDFS学习笔记
rao991207823的博客
11-06 1483
FastDFS学习笔记（demo级演示案例）
安装配置nginx+Fastdfs实现nginx代理上传下载文件
weixin_40660141的博客
11-13 617
1、安装依赖包 yum install git gcc gcc-c++ make automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl openssl-devel -y 2、下载fastdfs、libfastcommon、libserverframe、fastdfs-nginx-module安装包 在https://github.com/happyfish100 地址下载fastdfs、libfastcommon、fastdfs-
FastDFS 分布式文件系统搭建.zip
12-15
本教程将详细讲解如何搭建FastDFS分布式文件系统，并涵盖了tracker服务器、storage服务器、FastDFS模块以及Nginx的配置。 首先，我们来看FastDFS的基本架构。FastDFS由两部分组成：Tracker服务器和Storage服务器。...
python django框架中使用FastDFS分布式文件系统的安装方法
01-01
一、安装FastDFS 1-1：执行docker命令安装 # 安装tracker docker run -dti --network=host --name tracker -v /var/fdfs/tracker:/var/fdfs youkou1/fastdfs tracker ...1-2 测试是否安装成功：执
FastDFS和Linux下安装使用FastDFS 安装Nginx 分布式文件系统.docx
07-21
FastDFS是其中一种流行的开源解决方案，由中国的余庆先生开发，它是一个轻量级、高效率的分布式文件系统，主要用C语言编写。 【FastDFS的特点和功能】 FastDFS提供了文件存储、文件同步、文件上传和下载、负载均衡...
FastDFS分布式文件系统集群部署
01-09
目录 一.实验环境 二.集群部署 所有节点安装libfastcommon服务 所有节点安装FasDFS服务 配置storage存储端 在storage存储端安装nginx模块 ... fastdfs-nginx-module 二.集群部署 所有节点安装lib
基于FastDFS分布式文件系统的测试Demo
04-07
《基于FastDFS分布式文件系统的测试Demo详解》 在现代互联网应用中，文件存储的需求日益增长，传统的单机文件系统已无法满足大规模、高并发的访问需求。因此，分布式文件系统应运而生，其中FastDFS作为一款轻量级的...
最新版linux fastdfs-nginx-module-1.22.tar.gz
04-16
最新版linux fastdfs-nginx-module-1.22.tar.gz
echo-nginx-module-master.zip
09-13
Nginx 在使用过程中unknown directive "echo" ,需要安装echo模块
fastdfs-master.zip
08-13
测试代码
Linux系统下安装fastdfs安装部署步骤和注意事项
zsfeiyu的博客
04-29 795
此篇只记录如何fdfs安装和配置，与nginx配置请参考下一篇 安装vim和gcc【这两个为需要的安装，不需要可以直接从第一步开始】 yum -y install vim-enhanced yum -y install make cmake gcc gcc-c++ 第一步：下载libfastcommon wget https://github.com/happyfish100/li...
java操作fastdfs包括文件上传、下载、删除
m0_63040701的博客
05-30 1863
【代码】java操作fastdfs包括文件上传、下载、删除。
分布式文件系统FastDFS看这一篇就够了(文件上传下载、单机部署及集群部署)_go-fastdfs漏洞(1)
2401_84281601的博客
05-04 691
rwxr-xr-x 1 root root 251515 1月 4 14:34 fdfs_download_file。-rwxr-xr-x 1 root root 252781 1月 4 14:34 fdfs_upload_file。-rwxr-xr-x 1 root root 252781 1月 4 14:34 fdfs_upload_file。
FastDFS分布式文件系统搭配nginx的安装、配置与使用
kzhzhang的专栏
11-04 2304
FastDFS分布式文件系统搭配nginx的安装、配置与使用。
分布式文件系统fdfs搭建总结
06-24
个人搭建分布式文件系统,并测试可用的步奏

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值