最新fastdfs搭配nginx配置集群单个tracker管理多个storage(多个实例机器)

最新推荐文章于 2023-07-09 17:56:35 发布
最新推荐文章于 2023-07-09 17:56:35 发布
阅读量1.5k 收藏 4
点赞数
分类专栏： java 脚本 文章标签： fastdfs nginx java centos linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tomMMMMMMMMMMM/article/details/113343555
版权


一、下载安装依赖

    1.1 下载依赖、解压
    1.2 安装libfastcommon
    1.3 安装fastdfs
    1.4 编辑fastdfs配置
    1.5 安装 nginx-module
    1.6 配置nginx

    192.168.2.155  安装tracker 和 storage
    192.168.2.154  安装 storage
    192.168.2.153  安装 storage

 192.168.2.155 安装


1.1 下载依赖、解压

  wget https://github.com/happyfish100/libfastcommon/archive/V1.0.39.tar.gz -SO libfastcommon.tar.gz
  wget https://github.com/happyfish100/fastdfs/archive/V5.11.tar.gz -SO fastdfs.tar.gz
  wget https://github.com/happyfish100/fastdfs-nginx-module/archive/V1.20.tar.gz -SO fastdfs-nginx-module.tar.gz
  wget http://nginx.org/download/nginx-1.10.3.tar.gz

   如果嫌麻烦可以下载我提供的网盘的里面的都打包好了

链接: https://pan.baidu.com/s/1hoGAQ0yB-sgBvzPIEc5BaA  密码: cr82

    先安装环境   

   yum install -y gcc-c++ perl

  解压包

    tar -zxvf libfastcommon-1.0.40.tar.gz

1.2 安装libfastcommon

## 进入libfastcommon解压目录 安装

    ./make.sh
    ./make.sh install

1.3 安装 fastdfs

## 进入fastdfs解压目录

    ./make.sh
    . /make.sh install

1.4 修改配置文件

    cd /etc/fdfs/
    mv client.conf.sample client.conf
    mv storage.conf.sample storage.conf
    mv storage_ids.conf.sample storage_ids.conf
    mv tracker.conf.sample tracker.con

## 进入创建应用log和数据目录 

    mkdir -p /home/fastdfs/fdfs/fastdfs-5.12/data/client
    mkdir -p /home/fastdfs/fdfs/fastdfs-5.12/data/storage
    mkdir -p /home/fastdfs/fdfs/fastdfs-5.12/data/tracker
    mkdir -p /home/fastdfs/fdfs/fastdfs-5.12/data/nginx-model

   修改/etc/fdfs/client.conf配置文件

    vim client.conf

   修改: base_path=/home/fastdfs/fdfs/fastdfs-5.12/data/client
   修改: tracker_server=192.168.2.155:22122
   修改: http.tracker_server_port=9270

  修改 tracker.conf配置文件

    vim tracker.conf

   修改/etc/fdfs/tracker.conf
   修改: base_path=/home/fastdfs/fdfs/fastdfs-5.12/data/tracker
   修改: store_group=group1
   修改: http.server_port=9270

   修改/etc/fdfs/storage.conf配置文件

     vim storage.conf

   修改: group_name=group1(这里指定分组，这个很关键，fastdfs同分组的每个storage会互相备份数据，我不需要备份所以每个节点的分组不一致)
   修改: base_path=/home/fastdfs/fdfs/fastdfs-5.12/data/storage
   修改: store_path0=/home/fastdfs/fdfs/fastdfs-5.12/data/storage
   修改: tracker_server=192.168.2.155:22122


   修改/etc/fdfs/mod_fastdfs.conf配置文件(可先执行完1.5再执行)
   修改: base_path=/home/fastdfs/fdfs/fastdfs-5.12/data/nginx-model
   修改: tracker_server=192.168.2.155:22122
   修改: group_name=group1
   修改: store_path0=/home/fastdfs/fdfs/fastdfs-5.12/data/storage
   修改: url_have_group_name=true


   启动tracker

    fdfs_trackerd /etc/fdfs/tracker.conf start

  启动storage
  

     fdfs_storaged /etc/fdfs/storage.conf start


   测试启动是否正常
  

     fdfs_test /etc/fdfs/client.conf upload /root/9d545aa4d2f1ffbecf5567ae71f4e4fb.jpg

1.5 安装 nginx-module


  下载nginx-1.10.3.tar.gz源码包到/opt

     tar -zxvf nginx-1.10.3
     cd nginx-1.10.3


   编译nginx配置
  

    ./configure   --with-http_ssl_module --with-http_flv_module --with-http_stub_status_module --with-http_gzip_static_module  --with-debug --add-module=/usr/local/fastdfs-nginx-module-1.20/src


   编译安装
  

    make
    make install


   拷贝nginx-module所需要的配置文件
  

    scp /usr/local/fastdfs-nginx-module-1.20/src/mod_fastdfs.conf  /etc/fdfs/
    scp /home/fastdfs/fdfs/fastdfs-5.12/conf/http.conf  /etc/fdfs/
    scp /home/fastdfs/fdfs/fastdfs-5.12/conf/mime.types  /etc/fdfs/


   修改nginx配置文件(这样配置后可以通过192.168.2.155上的ng转发到这台服务器上的ng，来统一文件访问的路径。只需要通过192.168.2.155上就可以访问上面的3台storage上的文件)
   vim /usr/local/nginx/conf/nginx.conf

server {
        listen       9270;
        server_name  localhost;

        #charset koi8-r;

        #access_log  logs/host.access.log  main;

        location ~/group1/ {
            ngx_fastdfs_module;
        }

        location ~/group2/ {    #设置group1的负载均衡参数
         proxy_next_upstream http_502 http_504 error timeout invalid_header;
         proxy_cache http-cache;
         proxy_cache_valid 200 304 12h;
         proxy_cache_key $uri$is_args$args;
         proxy_pass http://192.168.2.154:10000;
         expires 30d;
        }

        location ~/group3/ {    #设置group1的负载均衡参数
         proxy_next_upstream http_502 http_504 error timeout invalid_header;
         proxy_cache http-cache;
         proxy_cache_valid 200 304 12h;
         proxy_cache_key $uri$is_args$args;
         proxy_pass http://192.168.2.153:10000;
         expires 30d;
        }
        
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }
 
    }

   启动nginx

    /usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf

  如果启动报proxy_cache http-cache的错就把这一段去掉

 重启tracker
 

    fdfs_trackerd /etc/fdfs/tracker.conf restart

 重启storage
 

    fdfs_storaged /etc/fdfs/storage.conf restart

 192.168.2.154 安装

 

1.1 下载依赖、解压

   把上面的包kao b

    先安装环境   

   yum install -y gcc-c++ perl

  解压包

    tar -zxvf libfastcommon-1.0.40.tar.gz

1.2 安装libfastcommon

## 进入libfastcommon解压目录 安装

    ./make.sh
    ./make.sh install

1.3 安装 fastdfs

## 进入fastdfs解压目录

    ./make.sh
    ./make.sh install

1.4 修改配置文件

    cd /etc/fdfs/
    mv client.conf.sample client.conf
    mv storage.conf.sample storage.conf
    mv storage_ids.conf.sample storage_ids.conf
    mv tracker.conf.sample tracker.con

## 进入创建应用log和数据目录 

    mkdir -p /home/fastdfs/fdfs/fastdfs-5.12/data/client
    mkdir -p /home/fastdfs/fdfs/fastdfs-5.12/data/storage
    mkdir -p /home/fastdfs/fdfs/fastdfs-5.12/data/tracker
    mkdir -p /home/fastdfs/fdfs/fastdfs-5.12/data/nginx-model

   修改/etc/fdfs/client.conf配置文件

    vim client.conf

   修改: base_path=/home/fastdfs/fdfs/fastdfs-5.12/data/client
   修改: tracker_server=192.168.2.155:22122
   修改: http.tracker_server_port=9270

    tracker.conf配置文件(这里因为用的是192.168.2.155的tracker来协调管理的所以不需要配置启动，当然需如果需要多个tracker也可以起启动起来)

    vim tracker.conf

   修改/etc/fdfs/tracker.conf
   修改: base_path=/home/fastdfs/fdfs/fastdfs-5.12/data/tracker
   修改: store_group=group1
   修改: http.server_port=9270

   修改/etc/fdfs/storage.conf配置文件

     vim storage.conf

   修改: group_name=group2(这里指定分组，这个很关键，fastdfs同分组的每个storage会互相备份数据，我不需要备份所以每个节点的分组不一致)
   修改: base_path=/home/fastdfs/fdfs/fastdfs-5.12/data/storage
   修改: store_path0=/home/fastdfs/fdfs/fastdfs-5.12/data/storage
   修改: tracker_server=192.168.2.155:22122(这里指向192.168.2.155的tracker)


   修改/etc/fdfs/mod_fastdfs.conf配置文件(可先执行完1.5再执行)
   修改: base_path=/home/fastdfs/fdfs/fastdfs-5.12/data/nginx-model
   修改: tracker_server=192.168.2.155:22122
   修改: group_name=group2
   修改: store_path0=/home/fastdfs/fdfs/fastdfs-5.12/data/storage
   修改: url_have_group_name=true


  启动storage
  

     fdfs_storaged /etc/fdfs/storage.conf start

测试启动是否正常
  

     fdfs_test /etc/fdfs/client.conf upload /root/9d545aa4d2f1ffbecf5567ae71f4e4fb.jpg

 1.5 安装 nginx-module


  下载nginx-1.10.3.tar.gz源码包到/opt

     tar -zxvf nginx-1.10.3
     cd nginx-1.10.3


   编译nginx配置
  

    ./configure   --with-http_ssl_module --with-http_flv_module --with-http_stub_status_module --with-http_gzip_static_module  --with-debug --add-module=/usr/local/fastdfs-nginx-module-1.20/src


   编译安装
  

    make
    make install


   拷贝nginx-module所需要的配置文件
  

    scp /usr/local/fastdfs-nginx-module-1.20/src/mod_fastdfs.conf  /etc/fdfs/
    scp /home/fastdfs/fdfs/fastdfs-5.12/conf/http.conf  /etc/fdfs/
    scp /home/fastdfs/fdfs/fastdfs-5.12/conf/mime.types  /etc/fdfs/


   修改nginx配置文件(这样配置后可以通过192.168.2.155上的ng转发到这台服务器上的ng，来统一文件访问的路径。只需要通过192.168.2.155上就可以访问上面的3台storage上的文件)
   vim /usr/local/nginx/conf/nginx.conf

server {
        listen       10000;
        server_name  192.168.2.154;

        location /group2/ {
            root /home/fastdfs/fdfs/fastdfs-5.12/data/storage;
            rewrite ^/group2/M01/(.*) /$1 break;
            }
       }

   
server {
        listen       9270;
        server_name  192.168.2.154;

        location ~/group2/ {
            ngx_fastdfs_module;
             }
        }

   启动nginx

    /usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf

  如果启动报proxy_cache http-cache的错就把这一段去掉

 重启storage
 

    fdfs_storaged /etc/fdfs/storage.conf restart

   192.168.2.153  安装 同192.168.2.154

  把上面关于192.168.2.154的配置改成192.168.2.153，

   nginx.conf location /group2 改成location /group2

 

最后 java代码提交指定分组即可

        File file1 = new File(TempPath1);
        InputStream inputStream = new FileInputStream(file1);
        String group = "group1";
        StorePath groupName = storageClient.uploadFile(group, inputStream,   
        file1.length(), "png");

        System.out.println("groupName1 : "+groupName.getFullPath());

        System.out.println("groupName1 : "+groupName.getPath());

        System.out.println("groupName1 : "+groupName.getGroup()); 
        System.exit(1);

 

tomMMMMMMMMMMM
关注
专栏目录
【Linux】fastDFS 设置多个存储组
冰恋云的专栏
07-31 76
在 FastDFS 中配置多个存储组时，需要在每个存储组中配置相应的存储路径。以下是配置 FastDFS Storage 的步骤：storage 配置修改。打开 storage.conf 配置文件，通常位于 /etc/fdfs 目录下；给每个group创建不同的storage_*.conf文件；mod_fastdfs.conf 修改。设置不同的groupName，port。对应storage_*.conf修改。为每个存储组配置其他参数；启动 Storage。nginx 配置修改。防火墙中打开存储器端口。
fastdfs文件服务器配置多个storage
love_THL的博客
12-01 1031
fastdfs文件服务器添加存储
配置fastDFS 一个tracker管理多个Storage Group
三易专栏
12-26 1万+
以下是小弟总结的，一个tracker管理多个storage，经过测试好使，如果有不对或者理解有误的地方，忘大家不吝赐教。一起学习，共同进步。 1：参考下面的连接搭建完成文件服务器 centos 搭建fastDFS文件服务器 2：修改相应storage的storage.conf配置文件 将group_name 的值修改为你想要的组名称，例如   group_name=group1
FastDFS单台服务器一个tracker多个storage
葫芦娃的博客
10-10 2万+
FastDFS 安装和配置 单机安装部署（CentOS 6.7 环境） 环境准备： 已经安装好 Nginx 软件准备： FastDFS_v5.05.tar.gzfastdfs-nginx-module_v1.16.tar.gzlibfastcommon-1.0.7.tar.gz 安装依赖包：yum install -y libevent安装 libfastcom
fastdfs单主机配置多个storage
weixin_34273046的博客
11-27 1399
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 disabled=fa...
fastdfs单节点安装手册.rar_fastdfs_fastdfs、nginx_tracker
09-15
本手册将详细阐述如何在单节点环境下安装并配置FastDFS，包括其核心组件Tracker、Storage以及与Nginx的集成。 一、FastDFS架构基础 FastDFS由两个主要组件构成：Tracker Server和Storage Server。Tracker Server...
fastdfs-nginx-module-1.24
最新发布
02-07
FastDFS-nginx-module 1.24 是一个针对 FastDFS 文件系统的 Nginx 模块，它使得 Nginx 可以无缝地与 FastDFS 集成，提供了高效的文件上传、下载服务。这一版本是针对 FastDFS 的最新更新，旨在优化性能，提高稳定性...
fastDFS+Nginx_fastdfs_fastdfs、nginx_fastdfs/nginx_
09-29
- 配置FastDFS配置文件，如`/etc/fdfs`目录下的`tracker.conf`和`storage.conf` - 初始化FastDFS数据目录，创建数据卷 - 启动Tracker和Storage服务 2. **安装Nginx及fastdfs-nginx-module** - 安装Nginx - ...
fastdfs+nginx集群搭建的实现
01-09
配置时需要根据集群的拓扑结构设定Tracker和Storage的配置文件，包括服务器地址、端口、组信息等。测试阶段通常会进行文件上传、下载和状态检查，确保系统正常运行。 【Nginx集群整合】 FastDFS常与Nginx结合使用...
Fastdfs和nginx配置
lyj_zn的博客
12-13 2398
ubuntu 和 centos 有可能只是下载方式不同 u: apt-get install c: yum install 安装FastDFS需要安装：gcc、libevent、libfastcommon、FastDFS（包括tracker和storage） ubuntu 和 centos 有可能只是下载方式不同 u: apt-get install c: yum install 查看ip端口 netstat -unltp|grep fdfs 安装gcc 判断是否安装了gc
FastDFS+nginx+fastdfs-nginx-module服务器配置(on Centos7 and Ubuntu18.04)
热门推荐
jun2016425的博客
12-11 2万+
实现一个FastDFS+nginx+fastdfs-nginx-module实现FastDFS的HTTP下载
fastdfs 多组_FastDFS 一个tracker配置多个Storage Group
weixin_30453651的博客
12-29 4097
一个tracker配置多个Storage Group步骤如下：1、修改相应storage的storage_group2.conf配置文件，以下三个参数需注意：group_name=group2port=23001base_path=/data/fastdfs_group2store_path0=/data/fastdfs_group22、修改storage的mod_fastdfs.confgrou...
FastDFS的HA架构多Group多Storage多Tracker结合SpringBoot
许少年的读书笔记
10-27 2440
FastDFS前奏 在开始之前，这篇文章并不是初级入门的文章，在该文章发布之前已经有两篇文章讲述了FastDFS和SpringBoot相关的知识，请参阅： 《Java高级架构之FastDFS分布式文件集群》：https://blog.51cto.com/xvjunjie/2377669 《SpringBoot集成FastDFS+Nginx整合基于Token的防盗链》：https://blog...
fastDFS 分布式文件系统新增加storage
weixin_45725946的博客
01-10 2443
已经搭建好了一套fastdfs文件服务器，一个tracker和一个storage，且部署在同一台服务器上，已经正式投入运行一年，1T的空间已经用完。 有两种方案： 在原有的storage直接挂存储，这样单个storage达到2T； 另外部署一套storage（新的服务器上），作为group2，这样，就是一个tracker对应两个storage，方便维护以及备份转移。 现采用第二种方案。 　　已经搭建好了一套fastdfs文件服务器基本不用动。 　　在新的服务器安装fastDFS，修改配置。 　　1、vi
docker安装fastdfs（1个tracker、2个storage）
P_Doraemon的博客
07-09 818
在delron/fastdfs镜像中，上面创建的目录分别对应docker中配置文件路径：/etc/fdfs，数据文件路径：/var/fdfs（下面有data和log两个文件夹）3）测试两台storage同步，进入storage容器，/var/fdfs目录，模拟上传一个文件，看从服务器器storage节点是否同步成功。两台都创建目录，数据文件存放路径映射，构建storage容器（两台机器都创建，xxxxxxx为tracker所在服务器ip）FastDFS Tracker 端口：22122。
Fastdfs group同步及一台服务器部署两个storage
阿索的专栏
04-03 8152
背景： 1921.68.0.164上已经有一个storage，组名：group1； 192.168.0.171上有tracker(单tracker),一个storage,组名：group0; 现在要做的工作是：在164上再起一个storage，设置组名为group0（与171上的goup0互为备份），将171上的group0文件同步到164 grou...
单机单个tracker多个storage搭建：
qq_34362409的博客
09-01 788
单机单个tracker多个storage搭建： 1、首先参照之前的文档创建好单机的环境 cd /etc/fdfs/storage.conf 2、复制一份storage.conf并重命名为storage_02.conf cp -r storage.conf storage_02.conf 3、打开这个新复制的文件然后修改里面的内容 vi storage_02.conf s...
fastdfs配置单tracher双storage同步
Teddy_Husky的博客
02-20 994
fastdfs配置单tracher双storage同步 准备工作 主服务器：192.168.5.130 从服务器：192.168.5.140 Docker 安装fastdfs+nginx模块，详细步骤不再展开，自行百度 步骤 1. 了解fastDFS原理 这次是最简单的storage同步，不涉及多tracker多group的配置，这里简单讲一下fastdfs的原理 FastDFS 是余庆老师开发的一个开源的高性能分布式文件系统（DFS）。 它的主要功能包括：文件存储，文件同步和文件访问，以及高容量和负载平
FastDFS 5.05集群配置指南：nginx缓存+Tracker与Storage部署详解
本指南将分步指导用户在Tracker和Storage节点上安装FastDFS以及在其上集成Nginx缓存功能，并介绍如何与Nginx Cache Purge插件协同工作。 一、FastDFS 安装步骤 1. **下载FastDFS**: - 从官方论坛...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

tomMMMMMMMMMMM

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值