FastDFS 集群搭建

最新推荐文章于 2024-02-06 15:57:12 发布
最新推荐文章于 2024-02-06 15:57:12 发布
阅读量418 收藏 3
点赞数
分类专栏： JavaWeb Linux 文章标签： FastDFS Nginx 集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hochenchong/article/details/81072797
版权

FastDFS 集群搭建

前言

于前几天搭建了 FastDFS 单机版来使用，而实际应用中，一般使用的都是集群版本的 FastDFS，相比于单机版，大体的搭建差不多，只不过配置文件的内容有所不同。

前期规划

  • Nginx 服务器一台，用于作为 HTTP 访问的入口
    • 本次虚拟机的 IP 为 192.168.229.167
  • Tracker 集群，这里配置两台 Tracker 服务器
    • IP 分别为 192.168.229.170，192.168.229.171
    • 在 Tracker 上部署 Nginx，提供 HTTP 访问的反向代理、负载均衡以及缓存等
  • Storage 集群，这里配置两台 Storage 服务器，分为两个组
    • 同一组的 Storage 服务器存储的数据相同
    • 同一组的数据存储容量取决于该组中存储容量最小的那台
    • IP 为 192.168.229.175，192.168.229.176
    • 部署 Nginx 以及 FastDFS 的 Nginx 扩展模块，提供访问与下载服务等

操作文件时，将直接使用相关的 api 连接到 Tracker 服务器中进行增删改查。访问时，则使用 Nginx 服务器做负载均衡转发请求到 Tracker 服务器，由 Tracker 服务器中的 Nginx 再转发给 Storage 服务器进行处理。

本次练习的环境

  • 虚拟机工具 ：VMware Workstations 14 Pro
  • 操作系统 ：CentOS 7 64位
    • 为了方便起见，这里已经将防火墙关闭了
    • 实际应用中，则开启防火墙，开放相应的端口即可

前期准备的安装包有：

libfastcommon（这里使用 1.0.38 版本）：https://github.com/happyfish100/libfastcommon/releases

FastDFS（这里使用 5.11 版本）：https://github.com/happyfish100/fastdfs/releases

fastdfs-nginx-module（这里使用 1.16 版本）：https://github.com/happyfish100/fastdfs-nginx-module/releases

ngx_cache_purge（这里使用 2.3 版本）：http://labs.frickle.com/files/

Nginx（这里使用 1.15.1 版本）：http://nginx.org/en/download.html

安装软件

  • Nginx 服务器
    • ngx_cache_purge
    • Nginx
  • Tracker 服务器
    • libfastcommon
    • FastDFS
    • Nginx
    • ngx_cache_purge
  • Storage 服务器
    • libfastcommon
    • FastDFS
    • Nginx
    • ngx_cache_purge
    • fastdfs-nginx-module

根据上面的列表将相关的软件拷贝到各个服务器中的 /root 目录下，并进行解压操作（由于以上的软件我下载的都是 tar.gz 压缩格式的，故统一使用命令：tar zxvf XXX.tar.gz 来进行解压操作。

安装 FastDFS

FastDFS 的安装其实很简单，在上一回的文章已经讲过了（FastDFS 单机版环境搭建），Tracker 服务器和 Storage 服务器都需要安装 FastDFS，这里快速的过一遍。

# 在线安装依赖环境
yum install gcc gcc-c++ make automake autoconf libtool pcre* zlib openssl openssl-devel
# 进入 root 目录下
cd /root
# 解压 libfastcommon 压缩包
tar zxvf libfastcommon-1.0.38.tar.gz
# 进入 libfastcommon 文件夹中，编译 libfastcommon 以及安装
cd libfastcommon-1.0.38
./make.sh && ./make.sh install
# 由于 libfastcommon 安装的路径在 /usr/lib64/ 
# 但是 FastDFS 主程序设置的 lib 目录是在 /usr/local/lib，所以需要创建软链接
# 不过试了一下，不创建也没问题，可能是使用的版本更新了，亦或者因为我的 CentOS7 是 64 位的
# 如果 FastDFS 安装有问题，则运行以下四条命令重新安装 FastDFS
# ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so 
# ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so 
# ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so 
# ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so

# FastDFS 安装
cd /root
# 解压 FastDFS 压缩包，编译以及安装
tar zxvf fastdfs-5.11.tar.gz
cd fastdfs-5.11
./make.sh && ./make.sh install

到此，FastDFS 就安装好了，接下来就是配置了。

Tracker 服务器配置

两台 Tracker 服务器配置是相同的，这里以其中一台为例

# 创建 Tracker 的存储日志和数据的根目录
mkdir -p /home/fastdfs/tracker
cd /etc/fdfs
cp tracker.conf.sample tracker.conf
# 配置 tracker.conf
vi tracker.conf

在这里，tracker.conf 只是修改一下 Tracker 存储日志和数据的路径 

# 启用配置文件（默认为 false，表示启用配置文件）
disabled=false
# Tracker 服务端口（默认为 22122）
port=22122
# 存储日志和数据的根目录
base_path=/home/fastdfs/tracker

这里，Tracker 服务就可以正常使用了.不过我们也可以顺带配置一下 Tracker 服务器中客户端配置文件

mkdir -p /home/fastdfs/client
# 修改 Tracker 服务器客户端配置文件
cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf
vi /etc/fdfs/client.conf

client.conf 中修改 base_path 和 Tracker 服务器的 IP 地址与端口号即可 

# 存储日志文件的基本路径
base_path=/home/fastdfs/client
# Tracker 服务器 IP 地址与端口号
tracker_server=192.168.229.170:22122
tracker_server=192.168.229.171:22122

Storage 服务器配置

这里的两台 Storage 服务器配置大体上相同，不同的分组，主要就是 group_name 的配置不同，其它配置基本一致。同一组的 Storage 服务器配置大体上一致。

# 创建 Storage 的存储日志和数据的根目录
mkdir -p /home/fastdfs/storage
cd /etc/fdfs
cp storage.conf.sample storage.conf
# 配置 storage.conf
vi storage.conf

在这里，storage.conf 只是修改一下 storage 存储日志和数据的路径 

# 启用配置文件（默认为 false，表示启用配置文件）
disabled=false
# 组名，第一组为 group1，以此递增
group_name=group1
# Storage 服务端口（默认为 23000）
port=23000
# 数据和日志文件存储根目录
base_path=/home/fastdfs/storage
# 存储路径，访问时路径为 M00
# store_path1 则为 M01，以此递增到 M99（如果配置了多个存储目录的话，这里只指定 1 个）
store_path0=/home/fastdfs/storage
# Tracker 服务器 IP 地址和端口，单机搭建时也不要写 127.0.0.1
# tracker_server 可以多次出现，如果有多个，则配置多个
tracker_server=192.168.229.170:22122
tracker_server=192.168.229.171:22122

在这里，192.168.229.175 的 group_name 为 group1，192.168.229.175 为 group2

启动 Tracker 服务以及 Storage 服务

启动服务时，先启动 Tracker 服务，再启动 Storage 服务器

# 启动 Tracker 服务
# 其它操作则把 start 改为 stop、restart、reload、status 即可。Storage 服务相同
/etc/init.d/fdfs_trackerd start
# 启动 Storage 服务
/etc/init.d/fdfs_storaged start
# 可以通过 fdfs_monitor 查看集群的情况
# 查看 Storage 是否已经注册到 Tracker 服务器中
# 当查看到 ip_addr = 192.168.229.175 (localhost.localdomain)  ACTIVE
# ACTIVE 表示成功
/usr/bin/fdfs_monitor /etc/fdfs/storage.conf

此时应该可以看到有两个分组，而且都是 ACTIVE 状态的。

Storage 服务器安装 Nginx

接下来，每台 Storage 都如下安装与配置 Nginx

# 配置 fastdfs-nginx-module 模块，这里使用的是 1.16 版本
# 修改 fastdfs-nginx-module 的 config 配置文件
vi /root/fastdfs-nginx-module/src/config

将 CORE_INCS="$CORE_INCS /usr/local/include/fastdfs /usr/local/include/fastcommon/" 中的 local 去掉，修改为 CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/" 。然后保存即可

# Nginx 以及模块安装
cd /root/nginx-1.15.1
# 添加 fastdfs-nginx-module 模块和 ngx_cache_purge 模块
./configure --add-module=/root/fastdfs-nginx-module/src --add-module=/root/ngx_cache_purge-2.3
# 编译以及安装
make && make install

# fastdfs-nginx-module 和 FastDFS 配置文件修改
# 复制 FastDFS 的部分配置文件到 /etc/fdfs
cd /root/fastdfs-5.11/conf/
cp http.conf mime.types /etc/fdfs/
# 复制 fastdfs-nginx-module 源码中的配置文件到  /etc/fdfs 中
cp /root/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/
vi /etc/fdfs/mod_fastdfs.conf

mod_fastdfs.conf 配置如下 

# Storage 日志文件
base_path=/home/fastdfs/storage
# Tracker 服务器IP和端口修改，如果有多个就配置多个
tracker_server=192.168.229.170:22122
tracker_server=192.168.229.171:22122
# Storage 服务器端口（默认为 23000）
storage_server_port=23000

# 当前 Storage 服务器的组名
group_name=group1

# 请求的 url 中是否包含 group 名称，改为 true，包含 group
url_have_group_name = true
# 配置 Storage 存储目录信息，修改 store_path0 的信息，有多个存储目录就配置多个
# 必须和 storage.conf 中的配置一致
store_path0=/home/fastdfs/storage

# 有多少个分组
group_count = 2
# 每个小组的信息
[group1]
group_name=group1
storage_server_port=23000
store_path_count=1
store_path0=/home/fastdfs/storage
[group2]
group_name=group2
storage_server_port=23000
store_path_count=1
store_path0=/home/fastdfs/storage

以上需要注意的还是组名那里，在这里，192.168.229.175 的 group_name 为 group1，192.168.229.175 为 group2

接下来就是配置 Nginx 了

vi /usr/local/nginx/conf/nginx.conf

在配置文件中添加一个 server

server {
    listen       8888;
    server_name  localhost;

    # 配置为支持 group0-group9，以及 M00-M99，以便于以后扩容
    # 由于配置了 ngx_fastdfs_module 模块，当该服务器找不到文件时，则会去文件的源服务器中寻找
    location ~/group([0-9])/M([0-9])([0-9]) {
        ngx_fastdfs_module;
    }
}

到此，Storage 服务器就配置完毕了

Tracker 服务器安装 Nginx

Tracker 服务器的安装与配置就简单些，两台 Tracker 服务器的配置执行相同的操作即可

# Nginx 以及模块安装
cd /root/nginx-1.15.1
# 添加 ngx_cache_purge 模块
./configure --add-module=/root/ngx_cache_purge-2.3
# 编译以及安装
make && make install

# 配置 Nginx
vi /usr/local/nginx/conf/nginx.conf

配置如下

# 设置 group1 的服务器
upstream fdfs_group1 {
    server 192.168.229.175:8888 weight=1 max_fails=2 fail_timeout=30s;
    # server 192.168.229.177:8888 weight=1 max_fails=2 fail_timeout=30s;
}
# 设置 group2 的服务器
upstream fdfs_group2 {
    server 192.168.229.176:8888 weight=1 max_fails=2 fail_timeout=30s;
    # server 192.168.229.178:8888 weight=1 max_fails=2 fail_timeout=30s;
}

server {
    listen  8000;
    server_name localhost;

    # 请求为 group1 的转发给 group1 的服务器组进行处理
    location ~/group1/M([0-9])([0-9]) {
        proxy_pass http://fdfs_group1;
    }

    # 请求为 group2 的转发给 group2 的服务器组进行处理
    location ~/group2/M([0-9])([0-9]) {
        proxy_pass http://fdfs_group2;
    }
}

Nginx 服务器配置

Nginx 服务器作为该 FastDFS 集群的统一入口，进行负载均衡处理

# 安装 Nginx 依赖环境
yum install gcc gcc-c++ make automake autoconf libtool pcre* zlib openssl openssl-devel
# Nginx 以及模块安装
cd /root/nginx-1.15.1
# 添加 ngx_cache_purge 模块
./configure --add-module=/root/ngx_cache_purge-2.3
# 编译以及安装
make && make install

# 配置 Nginx
vi /usr/local/nginx/conf/nginx.conf

Nginx 配置如下

# 设置 tracker
upstream fdfs_tracker {
    server 192.168.229.170:8000 weight=1 max_fails=2 fail_timeout=30s;
    server 192.168.229.171:8000 weight=1 max_fails=2 fail_timeout=30s;
}

server {
    listen  80;
    server_name localhost;

    # 将所有 FastDFS 请求转发给 Tracker 集群处理
    location ~/group([0-9])/M([0-9])([0-9]) {
        proxy_pass http://fdfs_tracker;
    }
}

启动 Nginx 服务

# 启动 Nginx
/usr/local/nginx/sbin/nginx
# 重启 Nginx
/usr/local/nginx/sbin/nginx -s reload
# 停止 Nginx
/usr/local/nginx/sbin/nginx -s stop

集群扩容

关于扩容，有两种方式。

  1. 第一种常见于 Storage 服务器添加新的硬盘，然后修改配置文件进行扩容。不过要注意的是，同一组的最大容量取决于容量最小的那台服务器。
  2. 第二种扩容则是添加服务器，设置为新的组。

参考资料及扩展资料

后记

搭建好了就是启动各个服务器中的服务即可。在此就不测试了，和单机版的使用类似。集群版到此也就告一段落了。建议是先试试配置单机版，然后再来配置一下集群的版本。关于 FastDFS，计划还会码一篇 Java 的使用笔记。

在实践中成长！

HochenChong

2018-7-13

hochenchong
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
FastDFS集群搭建
u010425095的博客
06-02 1122
FastDFS 操作系统：CentOS7 端口：22122、2300【x】、8888 备注：下文的安装步骤中，【】包围的部分需根据自己的环境来配置 基本概念 Tracker和Storage   FastDFS有两个角色：Tracker和Storage。Tracker负责文件访问调度和负载均衡；Storage负责文件管理，包括：文件存储、文件同步、提供文件访问接口，管理自身的元数据。Storage主动向Tracker报告状态信息，每个Tracker都会记录Storage的信息。 Group   为了支持大容量
FastDFS集群的搭建
weixin_43311978的博客
04-15 575
一台 tracker，一台 stroage cd mkdir fdfs-package cd ~/fdfs-package wget https://github.com/happyfish100/libfastcommon/archive/V1.0.39.tar.gz -SO libfastcommon.tar.gz wget https://github.com/happyfish100/fa...
fastdfs+nginx集群搭建的实现
01-09
一.简介fastdfs 1.什么是fastdfs fastdfs是一个轻量级的开源分布式文件系统； fastdfs主要解决了大容量的文件存储和高并发访问的问题，文件存取时实现了负载均衡； fastdfs实现了软件方式的RAID，可以使用廉价的IDE硬盘进行存储支持存储服务器在线扩容支持相同内容的文件只保存一份，节约磁盘空间； fastdfs只能通过Client API访问，不支持POSIX访问方式； fastdfs特别适合大中型网站使用，用来存储资源文件（如：图片、文档、音频、视频等等）。 2.fastdfs框架图 作者（YuQing）给出了框架图如下： 其中： Trac
FastDFS扩展存储
qq_41303447的博客
12-01 2108
FastDFS扩展存储
fastfds扩容全部操作过程-全是干货
wangjie33589的博客
09-16 1212
发现报错ERROR - file: /opt/soft/fastdfs-nginx-module/src/common.c, line: 764, filename: M01/00/63/rBDOzmEslHeELQvhAAAAACbFkwE777.mp4 is invalid, invalid store path index: 1, which < 0 or >= 1
FastDFS入门学习之集群搭建
Richardlygo的博客
12-12 1077
一、FastDFS 简介 FastDFS是由国人余庆所开发，其项目地址： https://github.com/happyfish100 FastDFS是一个轻量级的开源分布式文件系统，主要解决了大容量的文件存储和高并发访问的问题，文件存取时实现了负载均衡。 FastDFS是一款类Google FS的开源分布式文件系统，它用纯C语言实现，支持Linux、...
Fastdfs集群搭建
08-07
Fastdfs集群搭建
fastdfs集群搭建
02-02
FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易一套高性能的文件服务器集群提供文件上传、下载等
fastdfs集群搭建所需插件:
06-25
fastdfs-6.07.tar,fastdfs-nginx-module-1.22.tar,nginx-1.21.1.tar,libfastcommon-1.0.53.tar,fastcommon-1.0.53.tar,ngx_cache_purge-2.3.tar,mod_fastdfs.conf,nginx...本包提供离线安装fastdfs集群,且不需要yum源。
Fastdfs 集群搭建（centos8）
01-07
Fastdfs集群搭建教程 −−−−Tangshuncai\color{#222514}{-}\color{#222514}{-}\color{#222514}{-}\color{#222514}{-}\color{#4285f4}{T}\color{#ea4335}{a}\color{#fbbc05}{n}\color{#4285f4}{g}\color{#34a853}{s...
FASTdfs集群搭建手册1
08-08
它提供了高效的文件上传和下载服务，方便构建高性能的文件服务器集群。FastDFS架构主要由Tracker Server和Storage Server两部分组成。 Tracker Server作为调度器，负责客户端的文件上传和下载请求，通过负载均衡...
构建高可用文件存储：深入解析FastDFS集群部署的关键步骤
Lion_Long的博客
11-13 2642
服务器配置：修改tracker_22122.conf配置文件、修改tracker_22123.conf配置文件、 修改storage_group1_23000.conf配置文件。 测试：配置client.conf、配置mod_fastdfs.conf、检测是否正常启动、测试上传文件 测试下载文件、恢复storage的运行、报错处理等。
FastDFS 分布式集群搭建详解
最新发布
程序员大佬超的博客
02-06 2432
如题。
fastdfs集群部署
qq_42988315的博客
11-25 3892
环境介绍： 此次搭建使用三台服务器搭建，将Tracker Server和Storage Server部署在一台集群上，另外一台装nginx. 10.35.32.81 fastdfs 10.35.32.82 fastdfs 10.35.32.80 nginx 1，下载相关程序包 https://github.com/happyfish100/ 下载 fastdfs libfastcommon fastdfs-nginx-module5.11 fastdfs-nginx-module 四个安装包 环境准备
FastDFS集群搭建+keepalive+nginx高可用
dkjhl的博客
03-08 3920
这里以我搭建好的FastDFS集群高可用+负载均衡的虚拟机为例，下载地址：集群节点下载 一、环境准备 centOS-6.6，VMware 8个节点，node22，node23，node25~node30；其中node22，node23作为keepalived+nginx高可用负载均衡，具体思路看框架原理图。node25，node26作为tracker，node27~node30...
FastDFS的HA架构多Group多Storage多Tracker结合SpringBoot
12-19 871
在下图中，任何一个节点都支持水平横向无限扩展。当在某一个Group中添加新的Storage服务器的时候，新加入该Group的服务器会自动同步所有数据。当新添加Group的时候，只需要修改处于前端的Nginx服务器即可。要实现主备自动切换还可以加入KeepAlived中间件。 FastDFS服务器通过HTTP提供服务，但是HTTP的性能太弱，所以在V4.05之后的版本中删除了内置的...
WinSCP 连接本地虚拟机 CentOS 7
热门推荐
hochenchong的博客
04-01 1万+
WinSCP 连接本地虚拟机 CentOS 7 前言 之前已经在 VMware 中使用简易安装安装了 CentOS 7 64位，默认安装是最小安装，所以啥都没有。一般来说，其实不推荐直接使用简易安装，而应该通过自己配置的方式会更好一些。Linux 的具体学习，可以看看书《Linux 就该这么学》，官方有提供免费资源学习。官方在线学习链接：https://www.linuxprobe....
FastDFS集群搭建与配置指南
"SXT-FastDFS.pdf 是一份关于FastDFS的详细教程，旨在帮助用户了解和搭建FastDFS系统。FastDFS是一个专为互联网设计的分布式文件系统，它具有高可用性、负载均衡和线性扩容的特点，适用于文件上传和下载服务。文档...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值