【服务虚拟化】基于Docker部署FastDFS+Nginx

已于 2022-08-11 12:55:24 修改
阅读量3.4k 收藏 5
点赞数
分类专栏： FastDFS 文章标签： nginx docker 分布式
于 2020-04-08 18:45:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sword_csdn/article/details/105391158
版权

1、准备工作

1.1、准备基础环境

先准备三个虚拟机来模拟集群，它们的ip分别是192.168.36.132、192.168.36.133、192.168.36.134，宿主系统都是centos7，并且都安装了带有阿里云镜像加速的Docker。

1.2、准备FDFS+NGINX部署文件

FDFS并没有在docker hub上维护官方镜像，所以需要自行构建。用于创建镜像的部署文件可以通过以下链接获取

链接：https://pan.baidu.com/s/1LXSELSMvBb_QDruQBs44ow 
提取码：pcb5

文件结构应如下图所示

或者使用以下命令直接拉取已经创建好的镜像如下：

docker pull registry.cn-shenzhen.aliyuncs.com/sgeoc/fastdfs:v1.0

使用该方法的可跳过构建FDFS镜像的小节。

创建镜像的部署文件列表（src文件下的文件）如下：

名称说明
fdfsfdfs源文件
libfastcommonfdfs的公用函数包
fastdfs-nginx-modulenginx与fdfs的关联模块，编译nginx时使用
nginx对外提供文件访问能力

1.3、准备NGINX镜像

此NGINX（称为：nginx_master）镜像与1.2的NGINX（称为：nginx_worker）不同。nginx_worker用于对外提供单节点的文件访问能力，而nginx_master用于对多个nginx_worker作负载均衡。NGINX官方镜像可用以下命令获取

docker pull nginx

1.4 、架构设计

由上图可以看出，每个节点都有Tracker，Storage，和nginx_worker。Tracker是FDFS中的进程，负责获取文件系统的状态，是监控者，一个节点只有一个Tracker进程。Storage也是FDFS的进程，在集群中是真正用于存储和管理文件的角色，理论上一个节点可以有多个Storage进程，这要视乎group的设置和分布情况（每个节点有多少个group，就有多少个Storage进程）。为了缩减文章篇幅，上图中Tracker只会部署单节点，部署多节点Tracker时只需要在tracker.conf中部署多个tracker_server便可。文件存储路径也只会使用/home/dfs，并且只有一个group，名称是group1，所以每个节点只有一个Storage进程。最终相关文件的节点，和分配如下表所示：

名称IP地址服务和文件端口
Centos 1192.168.32.132tracker22122
192.168.32.132storage-group123000
192.168.32.132libfastcommon-
192.168.32.132nginx_worker8888
192.168.32.132fastdfs-nginx-module-
192.168.32.132nginx_master8081
Centos 2192.168.32.133storage-group123000
192.168.32.133libfastcommon-
192.168.32.133nginx_worker8888
192.168.32.133fastdfs-nginx-module-
Centos 3192.168.32.134storage-group123000
192.168.32.134libfastcommon-
192.168.32.134nginx_worker8888
192.168.32.134fastdfs-nginx-module-

2、构建FDFS

部署FDFS时需要关注的配置文件在<path to file>/FDFS/src/fastdfs/docker/dockerfile_network/conf目录下，讲述它们的作用不是本文的内容，所以这里不予以赘述。需要说明的一个文件是容器的启动脚本<path to file>FDFS/src/fastdfs/docker/dockerfile_network/fastdfs.sh，里面的代码如下：

#!/bin/bash

new_val=$FASTDFS_IPADDR
old="com.ikingtech.ch116221"

sed -i "s/$old/$new_val/g" /etc/fdfs/client.conf
sed -i "s/$old/$new_val/g" /etc/fdfs/storage.conf
sed -i "s/$old/$new_val/g" /etc/fdfs/mod_fastdfs.conf

cat  /etc/fdfs/client.conf > /etc/fdfs/client.txt
cat  /etc/fdfs/storage.conf >  /etc/fdfs/storage.txt
cat  /etc/fdfs/mod_fastdfs.conf > /etc/fdfs/mod_fastdfs.txt

mv /usr/local/nginx/conf/nginx.conf /usr/local/nginx/conf/nginx.conf.t
cp /etc/fdfs/nginx.conf /usr/local/nginx/conf

echo "start trackerd"
/etc/init.d/fdfs_trackerd start

echo "start storage"
/etc/init.d/fdfs_storaged start

echo "start nginx"
/usr/local/nginx/sbin/nginx 

tail -f  /dev/null

这些代码负责修改单个节点下的配置文件里的配置，再启动tracker，storage，和nginx_worker。此外还有nginx的配置文件nginx.conf，其代码有一关键部分如下：

server {
        listen       8888;
        server_name  localhost;
        location ~/group[0-9]/ {
            ngx_fastdfs_module;
        }
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
        root   html;
        }
    }

这部分代码使得nginx_worker和fdfs结合在了一起，使得fdfs中的文件能够对外访问。

2.1、使用Dockerfile构建镜像

下载的文件中应该有两个Dockerfile文件（Dockerfile_git和Dockerfile_src），Dockerfile_git使用git上的部署文件部署，而Dockerfile_src使用src里面的文件部署，理论上两个都可以。使用docker build命令即可完成镜像构建，Dockerfile_src中的代码如下：

FROM alpine:3.10

LABEL "maintainer"="sword" \
      "email"="980623070@qq.com"

RUN mkdir -p /usr/local/src

COPY src /usr/local/src

RUN set -x \
  && chmod -R 777 /usr/local/src \
  && echo "http://mirrors.aliyun.com/alpine/latest-stable/main/" > /etc/apk/repositories \
  && echo "http://mirrors.aliyun.com/alpine/latest-stable/community/" >> /etc/apk/repositories \
  && apk update \
  && apk add --no-cache --virtual .build-deps gcc libc-dev make perl-dev openssl-dev pcre-dev zlib-dev \
  && cd /usr/local/src \
  && tar -xf nginx-1.15.4.tar.gz \
  && cd /usr/local/src/libfastcommon \
  && ./make.sh \
  && ./make.sh install \
  && cd /usr/local/src/fastdfs/ \
  && ./make.sh \
  && ./make.sh install \
  && cd /usr/local/src/nginx-1.15.4/ \
  && ./configure --add-module=/usr/local/src/fastdfs-nginx-module/src/ \
  && make && make install \
  && apk del .build-deps \
  && apk add --no-cache pcre-dev bash \
  && mkdir -p /home/dfs \
  && mv /usr/local/src/fastdfs/docker/dockerfile_network/fastdfs.sh /home \
  && mv /usr/local/src/fastdfs/docker/dockerfile_network/conf/* /etc/fdfs \
  && chmod +x /home/fastdfs.sh \
  && rm -rf /usr/local/src*

VOLUME /home/dfs
EXPOSE 22122 23000 8888 8080 80
CMD ["/home/fastdfs.sh"]

Dockerfile_git中的代码如下：

FROM alpine:3.10

RUN set -x \
    && echo "http://mirrors.aliyun.com/alpine/latest-stable/main/" > /etc/apk/repositories \
    && echo "http://mirrors.aliyun.com/alpine/latest-stable/community/" >> /etc/apk/repositories \
    && apk update \
    && apk add --no-cache --virtual .build-deps gcc libc-dev make perl-dev openssl-dev pcre-dev zlib-dev git \
    && mkdir -p /usr/local/src \
    && cd /usr/local/src \
    && git clone https://github.com/happyfish100/libfastcommon.git --depth 1 \
    && git clone https://github.com/happyfish100/fastdfs.git --depth 1    \
    && git clone https://github.com/happyfish100/fastdfs-nginx-module.git --depth 1  \
    && wget http://nginx.org/download/nginx-1.15.4.tar.gz \
    && tar -xf nginx-1.15.4.tar.gz \
    && cd /usr/local/src/libfastcommon \
    && ./make.sh \
    && ./make.sh install \
    && cd /usr/local/src/fastdfs/ \
    && ./make.sh \
    && ./make.sh install \
    && cd /usr/local/src/nginx-1.15.4/ \
    && ./configure --add-module=/usr/local/src/fastdfs-nginx-module/src/ \
    && make && make install \
    && apk del .build-deps \
    && apk add --no-cache pcre-dev bash \
    && mkdir -p /home/dfs  \
    && mv /usr/local/src/fastdfs/docker/dockerfile_network/fastdfs.sh /home \
    && mv /usr/local/src/fastdfs/docker/dockerfile_network/conf/* /etc/fdfs \
    && chmod +x /home/fastdfs.sh \
    && rm -rf /usr/local/src*
VOLUME /home/dfs
EXPOSE 22122 23000 8888 8080
CMD ["/home/fastdfs.sh"]

3、Docker集群部署FDFS+nginx_worker和nginx_master

3.1 部署FDFS+nginx_worker

部署分布式存储集群和高可用负载均衡访问需要两个docker-compose文件，首先是基于FDFS+nginx_worker的镜像部署的docker-compose.yml，在Centos 1，Centos 2，Centos 3上运行docker-compose up -d命令。文件代码如下。

version: "3.1"
services:
  sgeocfdfs_1:
    image: sgeocfdfs:v1.0
    container_name: sgeocfdfs_1
    ports:
      - "22122:22122"
      - "23000:23000"
      - "8888:8888"
      - "80:80"

    environment:
      FASTDFS_IPADDR: 192.168.36.132

    volumes:
      - "/home/sword/Desktop/DS/fdfs_data:/home/dfs"

    network_mode: "host"

需要注意的是，FDFS的网络一定要使用host，或者nat，与宿主系统共享ip和端口，使用bridge的storage进程的ip会转为docker的虚拟ip。另外FASTDFS_IPADDR配置的tracker的ip。

3.2 部署nginx_master

nginx_master是数据访问的入口，所以它只需要在一台机器上部署便可，使用以下docker-compose.yml代码部署。

version: "3.1"
services:
  sgeoc_fdfs_nginx:
    image: nginx
    container_name: sgeoc_fdfs_nginx
    ports:
     - 8081:80
    volumes:
     - "/home/sword/Desktop/DS/nginx_data:/usr/share/nginx/html"
     - "/home/sword/Desktop/DS/NGINX/conf/nginx.conf:/etc/nginx/nginx.conf"

并且nginx.conf的配置如下

user  nginx;
worker_processes  10;

error_log  /var/log/nginx/error.log warn;
pid        /var/run/nginx.pid;


events {
    worker_connections  1024;
}


http {
    add_header 'Access-Control-Allow-Origin' '*';
    add_header 'Access-Control-Allow-Credentials' 'true';
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    access_log  /var/log/nginx/access.log  main;

    sendfile        on;

    keepalive_timeout  65;

    server {
        listen       80;
        server_name  localhost;

        #charset koi8-r;
        #access_log  /var/log/nginx/host.access.log  main;

        location / {
            root   /usr/share/nginx/html;
            index  index.html index.htm;
        }

        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
             root   /usr/share/nginx/html;
        }


        location ^~ /group1/{
            add_header 'Access-Control-Allow-Origin' '*';
            add_header 'Access-Control-Allow-Credentials' 'true';
            proxy_pass http://fdfs_group1;

        }

    }

    upstream fdfs_group1 {
        server 192.168.36.132:8888 max_fails=0;
        server 192.168.36.133:8888 max_fails=0;
        server 192.168.36.134:8888 max_fails=0;
        keepalive 10240;

    }
}

需要说明的是，upstream部分对应3台机器的nginx_worker，对nginx_master进行访问的链接只要符合^~ /group1/表达式的都会转发到fdfs_group1中做负载

3、Python代码示例

from fdfs_client.client import Fdfs_client, get_tracker_conf
tracker_path = get_tracker_conf('E:/PycharmProject/sgeoc_fdfs_client/client.conf')
client = Fdfs_client(tracker_path)
ret = client.upload_by_filename('E:/PycharmProject/sgeoc_fdfs_client/1.png')

其中client.conf文件对应FDFS中的/etc/fdfs/client.conf文件

nginx添加模块fastdfs-nginx-module（docker版，不需要重写dockerfile）
CHANGE ING的博客
07-13 3929
nginx添加模块fastdfs-nginx-module（docker版，不需要重写dockerfile）一、fastdfs-nginx-module模块准备1.1、下载模块1.2、配置模块信息重新制作nginx的二进制执行文件查看nginx版本下载nginx配套版本的源码文件制作nginx二进制文件启动过nginx服务 一、fastdfs-nginx-module模块准备 1.1、下载模块 git clone https://gitee.com/fastdfs100/fastdfs-nginx-mod
Docker搭建FastDFS + Ngnix图片文件服务器
weixin_41422086的博客
03-26 1233
首先，确保系统已更新到最新版本。： 安装所需的软件包以支持Docker的安装过程： 使用以下命令设置Docker稳定版仓库： 运行以下命令验证Docker是否成功安装：如果Docker安装成功，您应该能够看到Docker引擎的版本信息。
docker部署FastDFS文件系统详细记录,每个步骤都有详细记录。含linux和windows双系统安装教程
最新发布
橙-极纪元-cplvfx-JJY.Cheng
09-11 1943
docker部署FastDFS文件系统详细记录,每个步骤都有详细记录。含linux和windows双系统安装教程
Fastdfs+nginx Dockerfile及安装包
12-05
Fastdfs+nginx 一键部署，只需2行代码，实现分布式存储系统+重定向功能，Dockerfile实现，附操作说明
使用Docker部署FastDF-nginx
weixin_40833628的博客
07-31 570
出现这种错误可能的原因是storage服务不在线，或者是挂载的目录是之前storage容器挂载的目录。从日志中可以看出路径下的文件不存在，但此路径不是我们存储文件的路径，这就需要我们去/ect/fdfs目录下修mod_fastdfs.conf配置文件。Docker容器每次重启后容器ip会发生变动，这意味着如果容器间使用ip地址进行通信的话，一旦容器重启，重启后的容器将不能再被访问到。好了，这些就是我在使用docker部署FastDFS和nginx的实现过程，以及部署过程中可能会遇到的问题。
docker-compose部署FastDFS分布式文件系统
zhaohan___的博客
06-14 1213
组内的所有 Storage Server 之间是平等关系，会相互连接进行文件同步，从而保证组内的所有 Storage Server 的文件内容一致。Storage Server 直接利用 OS 的文件系统存储文件，不会对文件进行分块存储，客户端上传的文件和 Storage Server 上的文件一一对应（V3 引入的小文件合并存储除外）。Tracker Server 在内存中记录分组和 Storage Server 的状态等信息，不记录文件索引信息，占用的内存量很少。pom文件引入工具包。
docker结合fastdfs
08-26
- *1* *3* [【服务虚拟化】基于Docker部署FastDFS+Nginx](https://blog.csdn.net/sword_csdn/article/details/105391158)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":...
文件存储方案FastDFS和容器化方案Docker
王涛涛的博客
09-04 952
文件存储方案FastDFS 1. FastDFS介绍 用c语言编写的一款开源的轻量级分布式文件系统。 功能包括：文件存储、文件访问（文件上传、文件下载）、文件同步等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。 为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标。 可以帮助我们搭建一套高性能的文件服务器集群，...
docker部署linux系统
05-25
Docker 是一个容器化平台，允许用户在轻量级的虚拟化环境中运行应用程序。 Docker 部署 Linux 系统是指使用 Docker容器来部署和管理 Linux 操作系统。这种方法可以提供一个灵活、可靠和高效的方式来部署和管理 ...
FastDFS分布式文件系统集群容器化部署
02-23 1170
FastDFS分布式文件系统集群部署一：FastDFS介绍1.1 什么是FastDFS1.2 FastDFS的系统架构1.3 Tracker集群1.4 Storage集群1.5 Storage的状态收集1.6 文件上传流程1.7 文件下载流程二：FastDFS+Nginx实现文件服务器2.1 系统架构2.2 架构描述2.3 Client2.4 Tracker Server2.5 Storage S...
45--Django-项目实战-全栈开发-基于django+drf+vue+elementUI企业级项目开发流程-纯手工安装部署和docker一键部署
摘 月
06-11 951
xshell---->收费，免费finalshell---->国人用java开发的web端---->云服务器web端也可以连接这里我使用的是MobaXterm，输入用户名密码linux 操作系统都会有python2系统服务用python2 写的，必须要有项目跑在python3，额外安装（阿里云装了python3.6）我们再装一个:python3.8执行python3.8执行pip3.8。
Docker+FastDFS+Nginx+Lua搭建图片服务器，并实现图片缩略图
01-20
Docker+FastDFS+Nginx+Lua实现图片缩略图1、FastDFS安装1.1、镜像下载1.2、开启tracker容器1.3、开启storage容器1.4、测试2、FastDFS集成Nginx+lua2.1、依赖包下载2.2、安装软件基础包2.3、依赖安装2.4、配置Lua脚本实现图片缩略图2.5、修改nginx.conf配置2.6、缩略图测试 1、FastDFS安装 1.1、镜像下载 docker pull delron/fastdfs 本文为VIP专属文章，单击开通VIP 作者：谭永强
Docker+Nginx+FastDFS分布式文件系统搭建
Mr.Kong
10-31 2095
FastDFS介绍 1.1   什么是FastDFS FastDFS是用c语言编写的一款开源的分布式文件系统。FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。 1.2   FastDFS架构 Fas...
使用docker-compose搭建FastDFS
三厢车
06-18 3748
从各自发行版下载最新版即可 下载 libfastcommon https://github.com/happyfish100/libfastcommon/releases 运行FastDFS基础库 下载 FastDFS https://github.com/happyfish100/fastdfs/releases 下载 Nginx http://nginx.org/download/ 下载 fastdfs-nginx-module https://github.com/happyfish100/fastd
使用Docker一键搭建FastDFS+Nginx分布式文件服务器
铭记：
05-11 634
满船清梦压星河 偷捧时间煮酒喝 转载文章：使用Docker一键搭建FastDFS+Nginx分布式文件服务器
docker-compse安装fastdfs
weixin_42827159的博客
04-26 409
【代码】docker-compse安装fastdfs。
Docker-Compose安装单机版FastDFS
qq_49417441的博客
05-29 543
Docker-Compose安装单机版FastDFS
Docker集群环境下安装Fastdfs集群+Nginx负载均衡
汣栀的博客
12-29 2085
一、环境配置 现有两台服务器10.168.103.110（旧服务器）和10.168.103.111（新服务器），其中110服务器上有swarm集群，一个tracker和一个storage,现在要做Fastdfs集群，满足110上Fastdfs宕机的情况，111服务器上的Fastdfs能够正常使用。 首先查看110服务器的网络情况： docker network ls 网络名称为prod-net docker node ls 二、搭建docker网络集群（swarm） 这里我们需要在新服务器111
docker-compose教程：docker-compose部署fastdfs
学亮编程手记
10-07 540
【代码】docker-compose教程：docker-compose部署fastdfs。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值