FastDFS(二)搭建单体应用

最新推荐文章于 2024-09-02 10:56:38 发布
最新推荐文章于 2024-09-02 10:56:38 发布
阅读量584 收藏
点赞数
分类专栏： 2020年你好 文章标签： fastdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41967899/article/details/95622377
版权

FastDFS单体应用搭建

1 安装FastDFS环境

跟踪服务器（Tracker Server）：192.168.0.188
存储服务器（Storage Server）：192.168.0.188
操作系统：centOS7
用户：root
数据存储: /fastdfs
相关的软件下载:https://pan.baidu.com/s/1vl-2SECHU7Xkvdawqm6Gqg
提取码：ujlb
将软件下载好后放置在/usr/local/src

1.1 安装需要的依赖包

yum install make cmake gcc gcc-c++

1.2 安装libfatscommon

cd /usr/local/src
#安装unzip 命令： yum install -y unzip zip
unzip libfastcommon-master.zip
cd libfastcommon-master
## 编译、安装
./make.sh
./make.sh install

1.3 安装FastDFS

cd /usr/local/src
tar -xzvf FastDFS_v5.08.tar.gz
cd FastDFS
./make.sh
./make.sh install

1.4 关闭防火墙

为了方便后面的操作，本实例直接选择关闭防火墙

#查看防火墙状态是否开启
systemctl status firewalld
#关闭防火墙（重启服务器后会重新打开防火墙）
systemctl stop firewalld
#永久关闭防火墙
systemctl disable firewalld

2 配置Tracker监听器

2.1 配置tracker的配置文件，并且进行重命名

cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf

2.2 修改tracker配置文件

vim /etc/fdfs/tracker.conf

#修改内容如下：
base_path=/fastdfs/tracker  # Tracker 数据和日志目录地址(根目录必须存在,子目录会自动创建)

2.3 创建上面指定的地址

mkdir -p /fastdfs/tracker

2.4 启动Tracker

 /etc/init.d/fdfs_trackerd start

2.5 查看Tracker是否已启动

netstat -unltp|grep fdfs

出现下面图例，表示启动成功
在这里插入图片描述

2.6 查看Tracker的文件目录

ll /fastdfs/tracker

可以注意到已经出现了data和logs目录，那么表示你的tracker配置一切正常

3 配置storage

3.1 创建storage的配置文件

cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf

3.2 编辑配置文件

vim /etc/fdfs/storage.conf
#修改的内容如下:
base_path=/fastdfs/storage          # 数据和日志文件存储根目录
store_path0=/fastdfs/storage        # 第一个存储目录
tracker_server=192.168.0.188:22122 # tracker服务器IP和端口

3.3 创建storage的存储目录

mkdir -p /fastdfs/storage

3.4 启动storage

/etc/init.d/fdfs_storaged start

3.5 查看Tracker和Storage是否在进行通信

/usr/bin/fdfs_monitor /etc/fdfs/storage.conf

在这里插入图片描述

4 上传文件

4.1 项目地址

码云地址:https://gitee.com/qingkongshengxia/fastDFS

4.3 修改fastdfs-client.properties

在这里插入图片描述

4.2 执行的地方

在这里插入图片描述

5 配置nginx

5.1 安装编译 Nginx 所需的依赖包

yum install gcc gcc-c++ make automake autoconf libtool pcre* zlib openssl openssl-devel

5.2 安装Nginx

cd /usr/local/src/
tar -zxvf nginx-1.16.0.tar.gz
cd nginx-1.16.0
//使用默认配置
 ./configure
 //编译
 make
 //安装
 make install

5.3 查看Nginx的配置依赖情况

/usr/local/nginx/sbin/nginx -V

5.4 修改Nginx的配置

vim /usr/local/nginx/conf/nginx.conf
添加如下行，将 /group1/M00 映射到 /fastdfs/storage/data
location /group1/M00 {
    alias /fastdfs/storage/data;
}

在这里插入图片描述

5.5 开启Nginx以及相关可能的操作

/usr/local/nginx/sbin/nginx

当你修改完nginx.conf时候，需要重新启动Nginx,使用这样的命令 /usr/local/nginx/sbin/nginx -s reload
当你想要停止nginx时 /usr/local/nginx/sbin/nginx -s stop
强制退出nginx /usr/local/nginx/sbin/nginx -s quit

5.6 查看Nginx是否开启

ps aux|grep nginx

在这里插入图片描述

5.7 通过http访问图片

在这里插入图片描述

5.8 上面的问题

不知道你是否意识到，我读取图片，其实并没有使用到tracker，而是直接通过Nginx来访问对应的图片位置，这样可以做到单体应用。在我们搭建fastDFS集群的时候，照片会同步到一个组内的所有storage，在大量用户访问的情况下，nginx会进行负载均衡，而在负载均衡的条件下，可能有几个storage内数据还没有被同步好，那么会导致照片异常，那么如何解决上面的异常呢？请看第六点

6 配置fastdfs-nginx-module

6.1 fastdfs-nginx-module

1、fastdfs-nginx-module 作用说明
FastDFS通过Tracker服务器，将文件放在Storage服务器存储，但是同组存储服务器之间需要进入文件复制，有同步延迟的问题。假设Tracker服务器将文件上传到了ip01，上传成功后文件ID已经返回给客户端。此时FastDFS存储集群机制会将这个文件同步到同组存储ip02，在文件还没有复制完成的情况下，客户端如果用这个文件ID在ip02上取文件，就会出现文件无法访问的错误。而fastdfs-nginx-module可以重定向文件连接到源服务器取文件，避免客户端由于复制延迟导致的文件无法访问错误。(解压后的fastdfs-nginx-module在nginx安装时使用)

6.2 解压fastdfs-nginx-module

cd /usr/local/src
tar -xzvf fastdfs-nginx-module_v1.16.tar.gz

6.3 修改fastdfs-nginx-module的配置文件

cd fastdfs-nginx-module/src
vim config

将CORE_INCS="$CORE_INCS /usr/local/include/fastdfs /usr/local/include/fastcommon/"中的local去除，即
CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"

6.4 修改Nginx的依赖配置

#关闭nginx
/usr/local/nginx/sbin/nginx -s stop
#开始重新配置nginx
cd /usr/local/src/
cd nginx-1.16.0
./configure  --add-module=/usr/local/src/fastdfs-nginx-module/src
#编译以及安装
make && make install

6.5 修改fastdfs-nginx-module的内的mod_fastdfs.conf

作用是当我访问输入url的时候，nginx回去查询对应的tracker，来找到对应的storage

cp /usr/local/src/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/
vim /etc/fdfs/mod_fastdfs.conf

修改下面的数据

# 连接超时时间
connect_timeout=10  --根据需要修改--
# Tracker Server
tracker_server=192.168.0.188:22122  --修改为自己的ip--
# StorageServer 默认端口
storage_server_port=23000
# 如果文件ID的uri中包含/group**，则要设置为true
url_have_group_name = true   --需要修改--
# Storage 配置的store_path0路径，必须和storage.conf中的一致
store_path0=/fastdfs/storage  --需要修改--

6.6 复制 FastDFS 的部分配置文件到 /etc/fdfs 目录

cd /usr/local/src/FastDFS/conf
cp http.conf mime.types /etc/fdfs/

6.7 修改nginx的配置文件

vim /usr/local/nginx/conf/nginx.conf

添加下面的代码块

location ~/group([0-9])/M00 {
    ngx_fastdfs_module;
}

在这里插入图片描述

6.8 开启nginx

/usr/local/nginx/sbin/nginx

下面就是你直接通过Chrome来访问图片了
在这里插入图片描述

7 配置开机启动

7.1 修改rc.local文件可以被执行

# 这个文件可以在开启的时候会被执行里面的内容
chmod +x /etc/rc.d/rc.local

7.2 添加需要开机启动的

/etc/init.d/fdfs_trackerd start
/etc/init.d/fdfs_storaged start
/usr/local/nginx/sbin/nginx

在这里插入图片描述

8 文献的来源

8.1特别感谢这几位大哥

阿尔法
贝塔
伽马

一颗大大大萝卜呗
关注
专栏目录
【python中级】 FastDFS列出所有groups分组信息
jn10010537的博客
07-24 492
2.2、FastDFS充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群。group分组group分组是fastdfs应对大流量应用系统中处理高并发、高容灾的经典设计，并且group还起到了应用隔离的功能。2.1、fastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，解决了大容量存储和负载均衡的问题。2.3、fastdfs单体的组成一个tracker、一个storage、一个group。......
分布式文件系统FastDFS
dyuan134的博客
04-17 842
在内存中记录集群中group和storage server的状态信息，是连接Client和Storage server的枢纽。FastDFS支持HTTP方式下载文件，不建议使用内置web server，推荐使用外部web server，如果apache或nginx。文件ID由FastDFS生成，作为文件访问凭证。只有两个角色，tracker server和storage server，不需要存储文件索引信息。client询问tracker可以下载指定文件的storage，参数为文件ID（组名和文件名）；
FastDfs的介绍和使用
qq_49195366的博客
10-18 999
Fastdfs是用C语言编写的一款开源的分布式文件系统。Fastdfs为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用 Fastdfs很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。
FastDFS分布式存储：概念、集群案例
最新发布
变成我......
09-02 996
讲解了FastDFS的概念、组成部分、工作原理。还有部署FastDFS + Nginx集群的案例
FastDFS在项目中的应用
Leon_Jinhai_Sun的博客
03-01 327
分析上传步骤： 1） 指定图片绝对地址 2） 指定图片服务器地址；使用 Client.conf 配置文件 3） 加载图片服务器，连接图片服务器 4） 创建图片服务器 tracker 客户端 5） 从客户端获取 tracker 连接 6） 创建 storage 客户端，存储图片 FastDFS概述 分布式文件系统上传文件特点： 1） 不再把文件上传项目，把上传文件和项...
FastDFS 单机安装及配置
QIFU的专栏
09-26 521
FastDFS是一款开源的分布式文件系统，本文讲解如何安装和配置。
FastDFS深入应用详解及分布式集群配置
阿索的专栏
03-25 2585
起始 从应用层面详解fastdfs各组件 fastdfs的多服务器场景使用及部署配置说明 相关的文章 1、单体安装教程https://blog.csdn.net/suoyanming/article/details/88797360 2、开源中国fastdfs主页 p/fastdfs 3、github主页（不确定是否是原作者维护） happyfish100/fas...
记一次配置FastDFS的各种踩坑过程
weixin_45118728的博客
10-19 2459
https://github.com/happyfish100/fastdfs/issues/133
搭建一个高性能的文件系统？不用他怎么行？
互联网架构小马的博客
10-24 396
前言 今天给大家介绍的是FastDFS，一个开源的分布式文件系统，也是入职之后接触到的一个技术，由于公司项目业务需求，服务器里存了上亿量级的文件，所以使用了这么一项技术来存储这些文件，我也就随之开始了解这项技术，并且在这里和大家一起从0到1地开始了解它。 FastDFS介绍 FastDFS是一个以C语言开发的开源轻量级分布式文件系统，由阿里巴巴开发并开源。它对文件进行管理，功能包括：文件存储、文件同步、文件访问（上传、下载）等。解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网
深入浅出 -- 系统架构之单体到分布式架构的演变
xiaoli8748的专栏
04-04 1354
同时，就算部署业务程序的机器损坏，也不会丢失系统数据，在一定程度上也提升了系统的抗风险性。显然，这种方式虽然成本低，数据交换快，但并不能支撑太大的访问量，当流量增大时，系统很可能因为CPU、内存、带宽、磁盘等各因素出现性能问题，而一旦遇到瓶颈，为了保证系统正常运行，集“前端、后端、运维、测试、售后……以数据库为例，数据库由于并发影响，读取数据越来越慢，所以阻塞在后端服务中等待数据返回的请求越来越多，入站流量远大于出站流量，长此以往，后端服务线程数超负荷，系统再次出现响应缓慢、无返回等严重事故。
分布式文件系统FastDFS看这一篇就够了(文件上传下载、单机部署及集群部署)
热门推荐
白大锅的博客，毕设WangLoveBai_999
09-18 8万+
FastDFS目录一、FastDFS是什么？1.1.简介1.2.结构组成(Client、Tracker server和Storage server)1.3.FastDFS下载安装教程1.4.目录结构二、FastDFS文件上传下载2.1.上传下载流程2.2.上传下载实现2.2.1.配置依赖：因为我们使用的maven来管理工程，所以，我们需要去配pom文件2.2.2.新建fdfs_client.conf文件，在我们的itoo中，我们建立在（src/main/resources底下）2.2.3.实现文件上传2.2
FastDFS(四) WEB应用中使用 FastDFS
奥迪的博客
09-12 637
WEB应用中使用 FastDFS 1 依赖 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org.
分布式文件系统之FastDfs
lin_007_的博客
01-06 237
本文引用至：https://sh.qihoo.com/pc/detail?url=https%3A%2F%2Fwww.toutiao.com%2Fi6642852421280203277%2F&amp;check=edce824a247c0dfa&amp;sign=baike&amp;uid=15484592.2690209269186620000.1543843680589.368 一、 什么...
单体应用架构_微服务架构
爱码者的博客
10-14 872
文章目录一、项目架构——单体应用1、单体应用2、单体应用（monolith application）3、单体应用有如下优点4、 单体应用的一些不足二、 项目架构-微服务1、 微服务2、 微服务的样子3、Spring官网 一、项目架构——单体应用 1、单体应用 2、单体应用（monolith application） 就是将应用程序的所有功能都打包成一个独立的单元，可以是 JAR、WAR、EA...
fastdfs单台部署
哖少
06-21 685
目录 术语 单机文件系统的对比 适用场景： 部署结构 一、准备工作（俩台机器同时进行） 二、安装libfastcommon（俩台机器同时进行） 三、安装FastDFS 四、配置跟踪器（192.168.1.172节点） 五、配置FastDFS存储（192.168.1.173） 六、测试环境 七、FastDFS与Nginx整合 八、启动停止服务步骤如下： 1.下载FastDF...
14. 改进的单体架构----初步实现分布式部署
blwinner的专栏
08-19 367
分布的单体架构图 192.168.0.1 : 后台管理服务器, 可以进行数据库的读写, 不对用户提供界面和接口 192.168.0.2 : 应用网关服务器, 对数据库进行只读, 作为数据访问层和业务逻辑层, 通过API接口(如RESTful)向界面展示层提供服务 192.168.0.3 : 界面展示服务器, 浏览器的请求都发送到该服务器, 作为控制器和视图层, 处理用户的web请求, 向应用接...
7.微服务:从设计到部署 --- 重构单体应用为微服务
enlyhua的专栏
11-22 440
7.1、微服务重构概述 单体应用转换为微服务的过程是应用现代化的一种形式。这是几十年来开发人员一直在做的事情。因此，在将应用重构为微服务时，有一些想法是可以重用的。 一个不要使用的策略是「爆炸式」重写。就是你将所有的开发工作都集中在从头开始构建新的基于微服务的应用。虽然这听起来很吸引人，但非常危险，有可能会失败。 据 Martin Fowler 讲到：「爆炸式重写的唯一保证就是大爆炸！」...
centos7.5 x64安装FastDFS5.0.5
既然选择了-何必在意的专栏
05-06 2217
一、安装FastDFS环境 1、先修改hosts，将文件服务器的ip与域名映射(单机TrackerServer环境)。 # vim /etc/hosts 增加如下一行，这是我的IP及对应主机名 192.168.9.195 fastDFS-test 如果要本机访问虚拟机，在C:\Windows\System32\drivers\etc\hosts中同样增加一行 2、下载安装libfast...
FastDFS搭建指南：从服务器到Java应用实战
这份文档涵盖了从FastDFS的基本概念、服务器搭建到实际应用的全过程，适合想要在分布式环境中部署FastDFS的开发者和技术人员参考。通过遵循文档中的步骤，用户可以快速且有效地构建出一个能有效处理大量文件的高性能...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值