FastDFS集群搭建与使用（CentOS 7）

最新推荐文章于 2024-07-25 22:13:53 发布
最新推荐文章于 2024-07-25 22:13:53 发布
阅读量1.2k 收藏 5
点赞数 2
分类专栏： FastDFS 文章标签： nginx fastdfs 分布式 centos 服务器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012784162/article/details/105565831
版权

部署

环境准备

集群架构

服务器IP服务（端口）
服务器1192.168.2.130tracker0(22122)
服务器2192.168.2.150tracker1(22122)
服务器3192.168.2.124storage0(23000)、nginx(8888)
服务器4192.168.2.119storage1(23000)、nginx(8888)
对外开放的服务器公网IP/域名nginx(80/443)

所需文件

文件描述下载
libfastcommon_V1.0.43.tar.gzFastDFS分离出的一些公用函数包下载
fastdfs_V6.06.tar.gzFastDFS本体下载
fastdfs-nginx-module_V1.22.tar.gzFastDFS和nginx的关联模块，解决组内同步延迟问题下载
nginx-1.16.1.tar.gz下载

官方文档

服务器1：Tracker0

1. 安装编译环境

yum install git gcc gcc-c++ make automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl-devel wget vim -y

2. 安装libfastcommon

tar -zxvf libfastcommon_V1.0.43.tar.gz
cd libfastcommon-1.0.43/
./make.sh
./make.sh install
cd ..

3. 安装FastDFS

安装
tar -zxvf fastdfs_V6.06.tar.gz
cd fastdfs-6.06/
./make.sh
./make.sh install
cd ..
配置
tracker.conf
cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf
vim /etc/fdfs/tracker.conf
#需要修改的内容如下
port=22122 # tracker服务器端口（默认22122,一般不修改）
base_path=/data/fastdfs # 存储日志和数据的根目录
use_storage_id = true # 使用id来区分storage，方便迁移
storage_ids_filename = storage_ids.conf
id_type_in_filename = id

确保配置文件的目录都存在

mkdir -p /data/fastdfs
storage_ids.conf
cp /etc/fdfs/storage_ids.conf.sample /etc/fdfs/storage_ids.conf
vim /etc/fdfs/storage_ids.conf
# 将storage的ip添加进去
100001   group1  172.18.0.2
100002   group1  172.18.0.3
启动
# 启动
fdfs_trackerd /etc/fdfs/tracker.conf start
# 停止
fdfs_trackerd /etc/fdfs/tracker.conf stop
# 重启
fdfs_trackerd /etc/fdfs/tracker.conf restart

服务器2：Tracker1

部署方式同服务器1

服务器3：Storage0 + Nginx

1. 安装编译环境

yum install git gcc gcc-c++ make automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl-devel wget vim -y

2. 安装libfastcommon

tar -zxvf libfastcommon_V1.0.43.tar.gz
cd libfastcommon-1.0.43/
./make.sh
./make.sh install
cd ..

3. 安装FastDFS

安装
tar -zxvf fastdfs_V6.06.tar.gz
cd fastdfs-6.06/
./make.sh
./make.sh install
cd ..
配置
storage.conf
cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf
vim /etc/fdfs/storage.conf
#需要修改的内容如下
port=9000 # storage服务端口（默认23000,一般不修改）
base_path=/data/fastdfs # 数据和日志文件存储根目录
store_path0=/data/fastdfs/store_path0 # 文件存储目录，可根据磁盘设置
tracker_server = 192.168.2.130:22122 # tracker服务器IP和端口
tracker_server = 192.168.2.150:22122 # tracker服务器IP和端口
http.server_port=8888 # http访问文件的端口(默认8888,看情况修改,和nginx中保持一致)

确保配置文件中设置的目录都存在

mkdir -p /data/fastdfs
mkdir -p /data/fastdfs/store_path0
启动
# 启动
fdfs_storaged /etc/fdfs/storage.conf start
# 停止
fdfs_storaged /etc/fdfs/storage.conf stop
# 重启
fdfs_storaged /etc/fdfs/storage.conf restart
#查看集群状态
fdfs_monitor /etc/fdfs/storage.conf list

4. 安装Nginx

安装
tar -zxvf fastdfs-nginx-module_V1.22.tar.gz
tar -zxvf nginx-1.16.1.tar.gz
cd nginx-1.16.1
./configure --add-module=../fastdfs-nginx-module-1.22/src/
make
make install
cd ..
配置
mod_fastdfs.conf
cp fastdfs-6.06/conf/http.conf /etc/fdfs/
cp fastdfs-6.06/conf/mime.types /etc/fdfs/
cp fastdfs-nginx-module-1.22/src/mod_fastdfs.conf /etc/fdfs/
vim /etc/fdfs/mod_fastdfs.conf
#需要修改的内容如下
tracker_server = 192.168.2.130:22122 # tracker服务器IP和端口
tracker_server = 192.168.2.150:22122 # tracker服务器IP和端口
storage_server_port=23000
url_have_group_name=true
store_path0=/data/fastdfs/store_path0
nginx.config
vim /usr/local/nginx/conf/nginx.conf
#添加如下配置
server {
    listen       8888;    ## 该端口为storage.conf中的http.server_port相同
    server_name  localhost;
    location ~/group1/ {
        ngx_fastdfs_module;
    }
    error_page   500 502 503 504  /50x.html;
    location = /50x.html {
    root   html;
    }
}
启动
# 启动
/usr/local/nginx/sbin/nginx
# 停止
/usr/local/nginx/sbin/nginx -s stop
# 重启
/usr/local/nginx/sbin/nginx -s reload

服务器4：Storage1+ Nginx

部署方式同服务器3

服务器1-4：Client(仅供测试)

可在任意安装了FastDFS上的服务器上运行测试

配置

cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf
vim /etc/fdfs/client.conf
#需要修改的内容如下
base_path=/data/fastdfs_client # 数据和日志文件存储根目录
tracker_server = 192.168.2.130:22122 # tracker服务器IP和端口
tracker_server = 192.168.2.150:22122 # tracker服务器IP和端口
use_storage_id = true # 使用id来区分storage，方便迁移

确保配置文件中的目录都存在

mkdir -p /data/fastdfs_client

启动

# 测试上传，上传成功后返回文件路径：group1/M00/00/00/rBIAAV6ZN62AKxKOAA_ZI6CZBeI.tar.gz
fdfs_upload_file /etc/fdfs/client.conf /root/fastdfs/nginx-1.17.8.tar.gz

配置外部访问的Nginx

参考配置

upstream fdfs_group01 {
        server 192.168.2.124:8888 weight=1 max_fails=2 fail_timeout=30s;
        server 192.168.2.119:8888 weight=1 max_fails=2 fail_timeout=30s;
    }

server {
   listen       80;
   server_name  localhost;
   
   location / {
       root   html;
       index  index.html index.htm;
   }

   location /files {
       proxy_next_upstream http_502 http_504 error timeout invalid_header;
       proxy_pass http://fdfs_group01/;
       expires 30d;
   }
}

尝试在浏览器中访问

http://127.0.0.1/files/group1/M00/00/00/rBIAAV6ZN62AKxKOAA_ZI6CZBeI.tar.gz

这里127.0.0.1应换成外网可访问的nginx的地址

一切正常时，会弹出下载框

开启token防盗链

开启后访问文件需要一个定期失效的token，以防止链接被滥用。

配置

vim /etc/fdfs/http.conf
# 需要配置的内容如下
# if use token to anti-steal
# default value is false (0)   
# 是否做token检查，缺省值为false。
http.anti_steal.check_token=true
 
# token TTL (time to live), seconds
# default value is 600
# TTL，即生成token的有效时长(秒)
http.anti_steal.token_ttl=3600
 
# secret key to generate anti-steal token
# this parameter must be set when http.anti_steal.check_token set to true
# the length of the secret key should not exceed 128 bytes
# 生成token的密钥，尽量设置得长一些，千万不要泄露出去
http.anti_steal.secret_key=14789632
 
# return the content of the file when check token fail
# default value is empty (no file sepecified)
# 检查失败，返回的文件内容，需指定本地文件名
http.anti_steal.token_check_fail=

启动

# 重启tracker
fdfs_trackerd /etc/fdfs/tracker.conf restart
# 重启storage
fdfs_storaged /etc/fdfs/storage.conf restart
# 重启nginx
./nginx -s reload
比特粒子炮
关注
  • 2
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Fastdfs 集群搭建（centos8）
01-07
Fastdfs集群搭建教程 −−−−Tangshuncai\color{#222514}{-}\color{#222514}{-}\color{#222514}{-}\color{#222514}{-}\color{#4285f4}{T}\color{#ea4335}{a}\color{#fbbc05}{n}\color{#4285f4}{g}\color{#34a853}{s...
linux centos7 搭建fastdfs集群
Meta39的博客
06-06 616
linux centos7 搭建fastdfs集群
centos7环境下fastdfs集群环境搭建
u010004734的博客
07-04 688
前言 本章内容是在我的博客《centos7环境下单机安装fastdfs》基础上进行修改的，请先根据上一篇博客把fastdfs环境搭建完成。 集群环境：192.168.0.150（fastdfs01）、192.168.0.151（fastdfs02） 修改主机名 --在192.168.0.150上执行以下命令-- [root@localhost ~]# hostnamectl set-hostnam...
Linux（CentOS7）搭建FastDfs
北暖的博客
12-31 2216
标题Linux(CentOS7)搭建FastDfs 一、前言 1、FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。 FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。 2、记录一次搭建过程。 二、搭建步
Centos7下FastDFS+Nginx集群搭建（详细教程）
qq_42897733的博客
08-16 1181
Centos7下FastDFS+Nginx集群搭建准备1、FastDFS 的安装（所有跟踪服务器和存储服务器均执行如下操作）1.1、编译和安装所需的依赖：1.2、安装libfastcommon1.2.1、安装libfastcommon到/usr/local/src下，解压1.2.2、编译、安装1.2.3、因为 FastDFS 主程序设置的 lib 目录是/usr/local/lib，所以需要创建软链接1.3、安装 FastDFS1.3.1、上传FastDFS_v5.05.tar.gz至/usr/local/
CentOS7安装 fastDFS 教程
weixin_62632929的博客
04-21 1363
在一台主机上部署 fastDFS 文件系统的 tracker 服务器和 storage 服务器，提供了搭建 fastDFS 系统的示例。
FastDFS集群搭建
qq_28326501的博客
04-22 309
环境准备： 3台Centos7虚拟机，按照单机安装方法安装 参考文章：https://blog.csdn.net/qq_28326501/article/details/115691761 1、修改该配置文件tracker.conf 。配置tracker集群 三台相同 命令：vim /etc/fdfs/tracker.conf 0是轮询，1是指定组,2是剩余存储空间多的group优先 2、修改配置文件storage.conf，配置storage集群 命令：vim /etc/f...
FastDFS集群环境搭建
程序员小金的博客
06-17 2232
FastDFS集群搭建
FastDFS 集群搭建
dante1987的博客
04-28 855
两台Tracker服务器 主机1（192.168.1.101）、主机2（192.168.1.102） 四台storage服务器 主机3（192.168.1.103）、主机4（192.168.1.104）、主机5（192.168.1.105）、主机6（192.168.1.106） 需要实现通过请求两台Tracker服务器上来访问四台storage服务器上的文件 主机1、主机2安装Tracker 安装方法：FastDFS简单配置应用 修改tracker.conf文件中group的负载策略 vi.
FastDFS集群安装及配置规范
01-20
总结，搭建和配置FastDFS集群涉及多步骤，包括服务器安装、配置、初始化以及客户端的集成。正确执行这些步骤将构建一个可靠的文件存储系统，满足大规模数据存储和高并发访问的需求。对于运维人员来说，理解和掌握...
分布式存储 CentOS6.5虚拟机环境搭建FastDFS-5.0.5集群
11-27
分布式存储 CentOS6.5虚拟机环境搭建FastDFS-5.0.5集群..........................................................................
FastDFS基于 Centos7环境搭建及nginx负载均衡1
08-08
在CentOS7环境下搭建FastDFS，我们可以利用其特性实现文件的高效管理和冗余备份。 FastDFS的核心组件包括Tracker和Storage。Tracker服务器主要负责调度任务，进行负载均衡，确保客户端请求被合理分配。而Storage...
centos安装FastDFS.md
05-12
FastDFS 为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用 FastDFS 很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。 #### 1.1 上传 FastDFS ...
分布式相关理论详解
zhifou123456的博客
07-25 968
分布式系统就是将整个系统根据业务拆分多个微服务，服务之间通过Rpc进行通信。集群是将多个相同应用部署到不同的集群模式上，本质上是为了提高吞吐量已经保证高可用性。CAP理论是分布式系统的理论基础,即一个分布式系统最多满足CAP这三项中的两项。即只能满足一致性(Consistance)、可用性（Aviablity）、分区容忍性（Partition tolerance）中的两项。线性一致性是要求最高的一种一致性，他要求无论从哪个副本读取数据，一定读到的是当前整个集群里面最新的数据。
【SpringCloud】 微服务分布式环境下的事务问题，seata大合集
qq_50446805的博客
07-23 1092
前面聊了一些常见的分布式事务方案，接下来我们所主要实现的是通过微服务的阿里组件，seata来实现微服务领域中的分布式事务。Seata 是一款开源的分布式事务解决方案，致力于提供高性能和简单易用的分布式事务服务。Seata 将为用户提供了 AT、TCC、SAGA 和 XA 事务模式，为用户打造一站式的分布式解决方案。AT模式（Auto Transcation）是阿里首推的，因为对代码是零侵入的，使用起来很方便。TC：班主任，某某学生成绩下滑，学校里打架，则通知家长回家好好教育（驱动回滚）；
Minos 多主机分布式 docker-compose 集群部署
wangqiaowq的博客
07-25 255
对象存储服务（Object Storage Service，OSS）是一种海量、安全、低成本、高可靠的云存储服务，适合存放任意类型的文件。容量和处理能力弹性扩展，多种存储类型供选择，全面优化存储成本。当然 Minio 除了直接作为对象存储使用，还可以作为云上对象存储服务的网关层，无缝对接到 Amazon S3、MicroSoft Azure。Minio 是个基于 Golang 编写的开源对象存储套件，虽然轻量，却拥有着不错的性能。
Gateway网关分布式微服务认证鉴权
最新发布
pscool的博客
07-25 531
（之前有使用过这种实现，定义个公共认证模块的jar包，各个微服务引入这个jar包，jar包中引入了security，开启全局校验，各个微服务可以使用注解，各个微服务可以覆盖jar包中的关键配置类实现。但是，后来遇到微服务之间互相调用时也得把这个令牌给带上去以供被调用的微服务作权限校验的问题，这样就导致权限校验管理混乱。所以还不如直接在网关层作校验，然后校验通过后，将用户身份权限写成请求头，在网关转发的时候携带给下面的微服务，后面微服务如果有必要作权限校验的话，可以使用AOP自主实现校验逻辑）
FastDFS集群安装与配置实战指南
FastDFS集群基于CentOS7操作系统，并且会集成fastdfs-nginx-module，使得通过Nginx实现对集群数据的访问。 在进行FastDFS的安装部署前，需要满足一些前提条件。首先，需要关闭系统中的安全服务，如SELinux、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值