FastDFS 集群搭建指南

最新推荐文章于 2024-02-06 15:57:12 发布
最新推荐文章于 2024-02-06 15:57:12 发布
阅读量179 收藏
点赞数
分类专栏： fastdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kongliand/article/details/108694842
版权

准备环境

  • 文件准备

nginx-1.14.0.tar.gz
FastDFS_v5.08.tar.gz
fastdfs-nginx-module_v1.16.tar.gz
libfastcommon-master.zip

  • 服务器

tracker服务器：192.168.1.85/86
storage服务器：192.168.1.72/73/74/75

安装依赖包（全部服务器）

  • 在安装FastDFS和Nginx之前，需确保gcc、gcc-c++、 libstdc++-devel、make等依赖库和工具已经安装

 

yum -y install gcc gcc-c++ libstdc++-devel pcre-devel zlib-devel wget make
yum -y groupinstall 'Development Tools'

安装libfastcommon类库（全部服务器）

 

unzip libfastcommon-master.zip -d /usr/local/
cd /usr/local/
cd libfastcommon-master/
./make.sh 
./make.sh install

安装Fastdfs（全部服务器）

 

tar -xvzf FastDFS_v5.08.tar.gz -C /usr/local/
cd /usr/local/FastDFS/
./make.sh 
./make.sh install

FastDFS安装完成之后，所有配置文件在/etc/fdfs目录下，tracker需要tracker.conf配置文件，storage需要storage.conf配置文件。

安装 tracker（服务器 85/86）

  • 将tracker.conf.sample文件重命名为tracker.conf，然后修改配置文件/etc/fdfs/tracker.conf

 

# 存储日志和数据的根目录
mkdir /root/fastdfs

cd /etc/fdfs
cp tracker.conf.sample tracker.conf
  • 修改配置文件

 

vi tracker.conf

#启用配置文件
disabled=false
#设置tracker的端口号
port=22122
#设置tracker的数据文件和日志目录（需手动创建）
base_path=/root/fastdfs
#设置http端口号
http.server_port=8080
  • 启动 tracker

 

# 启动
fdfs_trackerd /etc/fdfs/tracker.conf restart
  • 判断是否启动成功

 

[root@localhost ~]# netstat -unltp | grep fdfs
tcp        0      0 0.0.0.0:22122               0.0.0.0:*                   LISTEN      6078/fdfs_trackerd

安装 storage （服务器 72/73/74/75）

  • 创建存储目录和配置文件

 

mkdir /root/fastdfs

cd /etc/fdfs
cp storage.conf.sample storage.conf
  • 修改配置

 

vi /etc/fdfs/storage.conf
# 内容
group_name=group1                   # 组名（第一组为group1，第二组为group2，依次类推...）
base_path=/root/fastdfs             # 数据和日志文件存储根目录
store_path0=/root/fastdfs           #第一个存储目录，第二个存储目录起名为：store_path1=xxx，其它存储目录名依次类推...
store_path_count=1                  # 存储路径个数，需要和store_path个数匹配
tracker_server=192.168.1.85:22122          # tracker服务器IP和端口
tracker_server=192.168.1.86:22122          # tracker服务器IP和端口
  • 启动Storage

 

[root@localhost fdfs]# fdfs_storaged /etc/fdfs/storage.conf restart
[root@localhost fdfs]# netstat -unltp | grep fdfs
tcp        0      0 0.0.0.0:23000               0.0.0.0:*                   LISTEN      5551/fdfs_storaged
  • 验证storage是否登记到tracker服务器

 

# 可以在任一存储节点上使用如下命令查看集群的状态信息
fdfs_monitor /etc/fdfs/storage.conf

在storage上安装nginx

安装

  • 解压

 

tar -xvzf fastdfs-nginx-module_v1.16.tar.gz -C /usr/local
tar -xvzf nginx-1.14.0.tar.gz -C /usr/local
  • 配置软链接

 

ln -sv /usr/include/fastcommon /usr/local/include/fastcommon 
ln -sv /usr/include/fastdfs /usr/local/include/fastdfs 
ln -sv /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so
  • 添加 fastdfs-nginx-module-master模块

 

cd /usr/local/nginx-1.14.0/
./configure --prefix=/usr/local/nginx --add-module=/usr/local/fastdfs-nginx-module/src
  • 安装

 

make
make install
  • 安装成功，查看版本信息

 

/usr/local/nginx/sbin/nginx -V

配置

配置fastdfs-nginx-module

  • 进入fastdfs-nginx-module的src目录，将md_fastdfs.conf配置文件拷贝到/etc/fdfs/目录中

 

cd /usr/local/fastdfs-nginx-module/src
cp mod_fastdfs.conf /etc/fdfs/
  • 配置 mod_fastdfs.conf

 

vim /etc/fdfs/mod_fastdfs.conf

# 改动参数
base_path=/root/fastdfs           #保存日志目录
tracker_server=192.168.1.85:22122
tracker_server=192.168.1.86:22122 
storage_server_port=23000         #storage服务器的端口号
group_name=group1                 #当前服务器的group名
url_have_group_name = true        #文件url中是否有group名
store_path_count=1                #存储路径个数，需要和store_path个数匹配
store_path0=/root/fastdfs         #存储路径
group_count = 2                   #设置组的个数

# 在末尾增加组的具体信息
[group1]
group_name=group1
storage_server_port=23000
store_path_count=1
store_path0=/root/fastdfs

[group2]
group_name=group2
storage_server_port=23000
store_path_count=1
store_path0=/root/fastdfs
  • 建立M00至存储目录的符号连接

 

ln -s /root/fastdfs/data /root/fastdfs/data/M00
ll /root/fastdfs/data/M00

配置nginx

  • 编辑/usr/local/nginx/conf配置文件目录下的nginx.conf，设置添加storage信息并保存。

 

vim /usr/local/nginx/conf/nginx.conf

# 修改
user root;
listen       8080;

# 在server段中添加
location ~/group[1-2]/M00 {
    root /root/fastdfs/data;
    ngx_fastdfs_module;
}
  • 复制fastdfs中的http.conf、mime.types文件到/etc/fdfs

 

cp /usr/local/FastDFS/conf/http.conf /usr/local/FastDFS/conf/mime.types  /etc/fdfs

运行

 

[root@localhost ~]# /usr/local/nginx/sbin/nginx
ngx_http_fastdfs_set pid=12768
[root@localhost ~]# netstat -unltp | grep nginx
tcp        0      0 0.0.0.0:8080                0.0.0.0:*                   LISTEN      12769/nginx

 

# 重启 nginx
/usr/local/nginx/sbin/nginx -s reload

在tracker上安装nginx

  • 在tracker上安装的nginx主要为了提供http访问的反向代理、负载均衡以及缓存服务

安装

  • 解压

 

tar -xvzf nginx-1.14.0.tar.gz -C /usr/local
  • 运行./configure进行安装前的设置，主要设置安装路径

 

cd /usr/local/nginx-1.14.0/
./configure --prefix=/usr/local/nginx
  • 安装

 

make
make install

配置

  • 编辑/usr/local/nginx/conf配置文件目录下的nginx.conf，设置负载均衡

 

vim /usr/local/nginx/conf/nginx.conf

# 配置信息
worker_processes  4;                  #根据CPU核心数而定
events {
    worker_connections  65535;        #最大链接数
    use epoll;                        #新版本的Linux可使用epoll加快处理性能
}
http {
    #设置group1的服务器
    upstream fdfs_group1 {
        server 192.168.1.72:8080 weight=1 max_fails=2 fail_timeout=30s;
        server 192.168.1.73:8080 weight=1 max_fails=2 fail_timeout=30s;
    }
    #设置group2的服务器
    upstream fdfs_group2 {
        server 192.168.1.74:8080 weight=1 max_fails=2 fail_timeout=30s;
        server 192.168.1.75:8080 weight=1 max_fails=2 fail_timeout=30s;
    }

   server {
       #设置服务器端口
        listen       8080;
       #设置group1的负载均衡参数
        location /group1/M00 {
            proxy_pass http://fdfs_group1;
        }
        #设置group2的负载均衡参数
        location /group2/M00 {
            proxy_pass http://fdfs_group2;
        }
    }

}

运行

  • 启动nginx，确认启动是否成功
[root@localhost ~]# /usr/local/nginx/sbin/nginx
ngx_http_fastdfs_set pid=12768
[root@localhost ~]# netstat -unltp | grep nginx
tcp        0      0 0.0.0.0:8080                0.0.0.0:*                   LISTEN      12769/nginx

上传文件测试

配置client.conf文件

cp client.conf.sample  client.conf
vim /etc/fdfs/client.conf

# 修改以下参数
base_path=/root/fastdfs                   #日志存放路径
tracker_server=192.168.1.85:22122         
tracker_server=192.168.1.86:22122 
http.tracker_server_port=8080

上传文件测试

[root@localhost fdfs]# fdfs_upload_file /etc/fdfs/client.conf /root/test.jpg
group2/M00/00/00/wKg26VncfamAEqZ0AAu-4Kcs3QI677.jpg
  • 使用浏览器访问
http://192.168.1.85:8080/group2/M00/00/00/wKg26VncfamAEqZ0AAu-4Kcs3QI677.jpg

 

时间都哪去了
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
FastDFS的HA架构多Group多Storage多Tracker结合SpringBoot
12-19 871
在下图中，任何一个节点都支持水平横向无限扩展。当在某一个Group中添加新的Storage服务器的时候，新加入该Group的服务器会自动同步所有数据。当新添加Group的时候，只需要修改处于前端的Nginx服务器即可。要实现主备自动切换还可以加入KeepAlived中间件。 FastDFS服务器通过HTTP提供服务，但是HTTP的性能太弱，所以在V4.05之后的版本中删除了内置的...
FastDFS集群的搭建
weixin_43311978的博客
04-15 575
一台 tracker，一台 stroage cd mkdir fdfs-package cd ~/fdfs-package wget https://github.com/happyfish100/libfastcommon/archive/V1.0.39.tar.gz -SO libfastcommon.tar.gz wget https://github.com/happyfish100/fa...
fastdfs+nginx集群搭建的实现
01-09
一.简介fastdfs 1.什么是fastdfs fastdfs是一个轻量级的开源分布式文件系统； fastdfs主要解决了大容量的文件存储和高并发访问的问题，文件存取时实现了负载均衡； fastdfs实现了软件方式的RAID，可以使用廉价的IDE硬盘进行存储支持存储服务器在线扩容支持相同内容的文件只保存一份，节约磁盘空间； fastdfs只能通过Client API访问，不支持POSIX访问方式； fastdfs特别适合大中型网站使用，用来存储资源文件（如：图片、文档、音频、视频等等）。 2.fastdfs框架图 作者（YuQing）给出了框架图如下： 其中： Trac
FastDFS集群搭建
用生命研发技术
09-18 3139
对于文件的操作需要使用 StorageClient，StorageClient的构造函数需要 TrackerServer 和 StorageServer，所以，我们首先通过加载配置文件，获取到 TrackerClient，再通过 TrackerClient获取 TrackerServer 和 StorageServer，最后通过 StorageClient 实现对文件的管理。
FastDFS入门学习之集群搭建
Richardlygo的博客
12-12 1070
一、FastDFS 简介 FastDFS是由国人余庆所开发，其项目地址： https://github.com/happyfish100 FastDFS是一个轻量级的开源分布式文件系统，主要解决了大容量的文件存储和高并发访问的问题，文件存取时实现了负载均衡。 FastDFS是一款类Google FS的开源分布式文件系统，它用纯C语言实现，支持Linux、...
fastdfs集群搭建所需插件:
06-25
fastdfs-6.07.tar,fastdfs-nginx-module-1.22.tar,nginx-1.21.1.tar,libfastcommon-1.0.53.tar,fastcommon-1.0.53.tar,ngx_cache_purge-2.3.tar,mod_fastdfs.conf,nginx...本包提供离线安装fastdfs集群,且不需要yum源。
Fastdfs集群搭建
08-07
Fastdfs集群搭建
fastdfs集群搭建
02-02
FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易一套高性能的文件服务器集群提供文件上传、下载等
libfastcommon-master.zip
06-09
libfastcommon-master.zip
FASTdfs集群搭建手册1
08-08
它提供了高效的文件上传和下载服务，方便构建高性能的文件服务器集群。FastDFS架构主要由Tracker Server和Storage Server两部分组成。 Tracker Server作为调度器，负责客户端的文件上传和下载请求，通过负载均衡...
Fastdfs 集群搭建（centos8）
01-07
Fastdfs集群搭建教程 −−−−Tangshuncai\color{#222514}{-}\color{#222514}{-}\color{#222514}{-}\color{#222514}{-}\color{#4285f4}{T}\color{#ea4335}{a}\color{#fbbc05}{n}\color{#4285f4}{g}\color{#34a853}{s...
FastDFS 分布式集群搭建详解
程序员大佬超的博客
02-06 2388
如题。
FastDFS:05---fastdfs集群搭建
董哥的黑板报
07-06 984
一、集群模式 由于本人机器环境有限，因此本人在一台云服务器上进行本地集群搭建 本次集群环境为： 1台client端 1台tracker服务端 3台storage服务端，分为两组 二、tracker端搭建 第一步：在家目录下创建一个fastdfs/目录，用来存储fastdfs相关的文件。然后在fastdfs目录内创建一个tracker/目录用来存放tracker服务端相关的内容 mkdir ~/fastdfs mkdir ~/fastdfs/tracker ls ~/fastdf
Linux安装FastDFS单机版与FastDFS集群搭建（超级详细）
qq_38531706的博客
06-19 4296
文章目录前言一、FastDFS介绍二、FastDFS安装1.准备工作1.1.源码编译器安装1.2.解压缩工具安装1.3.系统下载文件工具wget安装1.4.预装软件包下载2.FastDFS依赖安装三、Nginx安装总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、FastDFS介绍 示例：pandas 是基于NumPy 的一种工
构建高可用文件存储：深入解析FastDFS集群部署的关键步骤
Lion_Long的博客
11-13 2641
服务器配置：修改tracker_22122.conf配置文件、修改tracker_22123.conf配置文件、 修改storage_group1_23000.conf配置文件。 测试：配置client.conf、配置mod_fastdfs.conf、检测是否正常启动、测试上传文件 测试下载文件、恢复storage的运行、报错处理等。
从出口数据看中国经济新动能-华福证券.pdf
最新发布
07-21
从出口数据看中国经济新动能-华福证券
FastDFS集群搭建与配置指南
"SXT-FastDFS.pdf 是一份关于FastDFS的详细教程，旨在帮助用户了解和搭建FastDFS系统。FastDFS是一个专为互联网设计的分布式文件系统，它具有高可用性、负载均衡和线性扩容的特点，适用于文件上传和下载服务。文档...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值