FastDFS文件存储

已于 2022-12-25 22:36:33 修改
阅读量575 收藏
点赞数
文章标签： 微服务 架构 云原生
于 2022-12-22 22:31:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_56942458/article/details/128413973
版权
本文档详细介绍了如何搭建FastDFS分布式文件系统，包括使用Docker拉取镜像、运行Tracker和Storage节点，以及配置Nginx进行文件访问。接着，通过SpringBoot构建文件存储微服务，添加FastDFS客户端依赖，配置文件上传限制，并创建FastDFSClient工具类，实现文件上传、下载、删除等功能。最后，展示了Controller和Service层的代码实现。
摘要由CSDN通过智能技术生成

FastDFS是用 c 语言编写的一款开源的分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。

目录

前言

一、FastDFS搭建

1.拉取镜像

2.运行tracker

3.运行storage

4.配置Nginx

5.设置禁止浏览器缓存：

二、springBoot搭建文件存储微服务

1.pom.xml依赖

2.配置

3.创建一个FastDFSClient的工具类

4.创建controller层

创建service层

5.创建启动类FastDfsApplication

前言

FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

FastDFS 架构包括 Tracker server 和 Storage server。客户端请求 Tracker server 进行文件上传、下载，通过Tracker server 调度最终由 Storage server 完成文件上传和下载。

一、FastDFS搭建

1.拉取镜像

docker pull morunchang/fastdfs

2.运行tracker

docker run -d --name tracker --net=host morunchang/fastdfs sh tracker.sh

3.运行storage

docker run -d --name storage --net=host -e TRACKER_IP=192.168.243.128:22122 -e GROUP_NAME=group1 morunchang/fastdfs sh storage.sh

  • 使用的网络模式是–net=host, 192.168.243.128是宿主机的IP

  • group1是组名，即storage的组

  • 如果想要增加新的storage服务器，再次运行该命令，注意更换 新组名

4.配置Nginx

Nginx在这里主要提供对FastDFS图片访问的支持，Docker容器中已经集成了Nginx，我们需要修改nginx的配置,进入storage的容器内部，修改nginx.conf

docker exec -it storage  /bin/bash

vi /etc/nginx/conf/nginx.conf

添加以下内容

location ~ /M00 {
     root /data/fast_data/data;
     ngx_fastdfs_module;
}

5.设置禁止浏览器缓存：

add_header Cache-Control no-store;

 退出容器

exit

重启storage容器

docker restart storage

开启启动设置，docker启动时

docker update --restart=always tracker
docker update --restart=always storage

二、springBoot搭建文件存储微服务

1.pom.xml依赖 

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.7.7-SNAPSHOT</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>
    <groupId>com.example</groupId>
    <artifactId>fastDfs</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <name>fastDfs</name>
    <description>fastDfs</description>
    <properties>
        <java.version>1.8</java.version>
    </properties>
    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
        
        <!-- fastDFS依赖-->
        <dependency>
            <groupId>cn.bestwu</groupId>
            <artifactId>fastdfs-client-java</artifactId>
            <version>1.27</version>
        </dependency>

        <dependency>
            <groupId>commons-lang</groupId>
            <artifactId>commons-lang</artifactId>
            <version>2.6</version>
        </dependency>
    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
            </plugin>
        </plugins>
    </build>
    <repositories>
        <repository>
            <id>spring-milestones</id>
            <name>Spring Milestones</name>
            <url>https://repo.spring.io/milestone</url>
            <snapshots>
                <enabled>false</enabled>
            </snapshots>
        </repository>
        <repository>
            <id>spring-snapshots</id>
            <name>Spring Snapshots</name>
            <url>https://repo.spring.io/snapshot</url>
            <releases>
                <enabled>false</enabled>
            </releases>
        </repository>
    </repositories>
    <pluginRepositories>
        <pluginRepository>
            <id>spring-milestones</id>
            <name>Spring Milestones</name>
            <url>https://repo.spring.io/milestone</url>
            <snapshots>
                <enabled>false</enabled>
            </snapshots>
        </pluginRepository>
        <pluginRepository>
            <id>spring-snapshots</id>
            <name>Spring Snapshots</name>
            <url>https://repo.spring.io/snapshot</url>
            <releases>
                <enabled>false</enabled>
            </releases>
        </pluginRepository>
    </pluginRepositories>

</project>

2.配置

在resources文件夹下创建application.yml

spring:
  servlet:
    multipart:
      #max-file-size是单个文件大小
      max-file-size: 5MB
      #max-request-size是设置总上传的数据大小
      max-request-size: 10MB
  application:
    name: file
server:
  port: 9002
#tracker服务器IP地址和端口号
FILE_SERVER_URL: http://192.168.243.128:8080/

在resources文件夹下创建fasfDFS的配置文件fdfs_client.conf

#tracker服务器IP地址和端口号
tracker_server=192.168.243.128:22122

3.创建一个FastDFSClient的工具类

import org.csource.common.MyException;
import org.csource.common.NameValuePair;
import org.csource.fastdfs.*;

import java.io.ByteArrayInputStream;
import java.io.IOException;
import java.io.InputStream;

public class FastDFSClient {

    private TrackerClient trackerClient = null;
    private TrackerServer trackerServer = null;
    private StorageServer storageServer = null;
    private StorageClient1 storageClient = null;

    public FastDFSClient(String conf) throws Exception {
        if (conf.contains("classpath:")) {
            conf = conf.replace("classpath:", this.getClass().getResource("/").getPath());
        }
        ClientGlobal.init(conf);
        trackerClient = new TrackerClient();
        trackerServer = trackerClient.getConnection();
        storageServer = null;
        storageClient = new StorageClient1(trackerServer, storageServer);
    }

    /**
     * 上传文件方法
     * <p>Title: uploadFile</p>
     * <p>Description: </p>
     *
     * @param fileName 文件全路径
     * @param extName  文件扩展名，不包含（.）
     * @param metas    文件扩展信息
     * @return
     * @throws Exception
     */
    public String uploadFile(String fileName, String extName, NameValuePair[] metas) throws Exception {
        String result = storageClient.upload_file1(fileName, extName, metas);
        return result;
    }

    public String uploadFile(String fileName) throws Exception {
        return uploadFile(fileName, null, null);
    }

    public String uploadFile(String fileName, String extName) throws Exception {
        return uploadFile(fileName, extName, null);
    }

    /**
     * 上传文件方法
     * <p>Title: uploadFile</p>
     * <p>Description: </p>
     *
     * @param fileContent 文件的内容，字节数组
     * @param extName     文件扩展名
     * @param metas       文件扩展信息
     * @return
     * @throws Exception
     */
    public String uploadFile(byte[] fileContent, String extName, NameValuePair[] metas) throws Exception {

        String result = storageClient.upload_file1(fileContent, extName, metas);
        return result;
    }

    public String uploadFile(byte[] fileContent) throws Exception {
        return uploadFile(fileContent, null, null);
    }

    public String uploadFile(byte[] fileContent, String extName) throws Exception {
        return uploadFile(fileContent, extName, null);
    }

    /**
     * 根据groupName和文件名获取文件信息。
     *
     * @param groupName
     * @param remoteFileName
     * @return
     * @throws MyException
     * @throws IOException
     */
    public FileInfo getFile(String groupName, String remoteFileName) throws MyException, IOException {
        return storageClient.get_file_info(groupName, remoteFileName);
    }

    /**
     * 下载文件
     *
     * @param groupName
     * @param remoteFileName
     * @return
     * @throws MyException
     * @throws IOException
     */
    public InputStream downFile(String groupName, String remoteFileName) throws MyException, IOException {
        byte[] fileByte = storageClient.download_file(groupName, remoteFileName);
        InputStream ins = new ByteArrayInputStream(fileByte);
        return ins;
    }

    public byte[] downFile1(String groupName, String remoteFileName) throws MyException, IOException {
        return storageClient.download_file(groupName, remoteFileName);

    }

    /**
     * 删除文件
     *
     * @param groupName
     * @param remoteFileName
     * @throws Exception
     */
    public boolean deleteFile(String groupName, String remoteFileName) throws Exception {
        int i = storageClient.delete_file(groupName, remoteFileName);
        return i == 0 ? true : false;
    }

    public boolean deleteFile(String fileId) throws Exception {
        int i = storageClient.delete_file1(fileId);
        return i == 0 ? true : false;
    }
}

4.创建controller层

    @GetMapping("/downFile")
    public void downFile(@RequestParam("groupName") String groupName, @RequestParam("remoteFileName") String remoteFileName){
      uploadService.downloadFile(groupName, remoteFileName);
    }

创建service层

    public void downloadFile(String groupName, String remoteFileName) {
        try {
            int i = remoteFileName.lastIndexOf(".");
            String extName = remoteFileName.substring(i);
            //创建一个FastDFS客户端
            FastDFSClient fastDFSClient = new FastDFSClient("classpath:fdfs_client.conf");
            //使用fastDFSClient工具类下载文件
            byte[] result = fastDFSClient.downFile1(groupName, remoteFileName);
            ServletRequestAttributes servletRequestAttributes = (ServletRequestAttributes) RequestContextHolder.getRequestAttributes();
            HttpServletResponse response = servletRequestAttributes.getResponse();
            response.setContentType("application/octet-stream;charset=UTF-8");
            response.setCharacterEncoding("UTF-8");
            response.setHeader("Content-Disposition", "attachment;filename=" + URLEncoder.encode("文件" + extName, "utf-8"));
            OutputStream ouputStream = response.getOutputStream();
            ouputStream.write(result);
            ouputStream.flush();
            ouputStream.close();
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

5.创建启动类FastDfsApplication

package com.example.fastdfs;

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;

@SpringBootApplication
public class FastDfsApplication {

    public static void main(String[] args) {
        SpringApplication.run(FastDfsApplication.class, args);
        System.out.println("=============FastDfs启动成功======================");
    }

}

小宋仝學.
关注
fastdfs文件服务介绍
03-24
FastDFS 是一个轻量级的开源分布式文件系统，主要解决了大容量的文件存储和高并发访问的问题，文件存取时实现了负载均衡。FastDFS 实现了软件方式的 RAID ،可以使用廉价的 IDE 硬盘进行存储。支持存储服务器在线扩...
分布式文件存储与数据缓存 FastDFS
张锦的博客
07-21 2089
在互联网项目中，数据量早已达到亿级的今天，对于数据的存储以及提升查询效率已经是我们必须要面对的一个问题。本系列主要通过NoSQL技术实现高性能的数据处理，了解常见的内存型数据库实现热数据的高速缓存，用于提升热数据的查询效率。
FastDFS文件存储实战以及详解
最新发布
m0_48038376的博客
08-27 1126
Tracker 服务器：负责管理和调度 Storage 服务器，配置文件为。Storage 服务器：负责文件的实际存储，配置文件为。客户端配置：用于测试和与 FastDFS 服务器进行交互，配置文件为。Nginx 模块（可选）：用于通过 HTTP 访问 FastDFS 中存储的文件。完成这些步骤后，你的 FastDFS 服务端应该已经成功部署，并且可以开始处理文件的上传和下载。
FastDFS---分布式文件存储
woruosuifenglang的博客
07-31 596
FastDFS
FastDFS分布式文件管理系统
qq_42873808的博客
12-20 701
FastDFS简介 1. FastDFS体系结构 FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。 FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很...
FastDFS文件包.zip
06-24
本资源包"FastDFS文件包.zip"包含了FastDFS安装和配置所需的所有组件，包括Nginx服务器、FastDFS服务端和客户端、FastDFS-Nginx模块以及相关的Java客户端，旨在帮助用户快速搭建起一个稳定可靠的文件存储系统。...
FastDFS文件系统搭建
11-10
FastDFS是一款开源的高性能、轻量级的分布式文件系统，主要解决大容量存储和负载均衡的问题，特别适合...通过合理的部署和配置，FastDFS能有效支持大规模的文件存储和高效访问，为互联网应用提供稳定、高效的文件服务。
文件存储fastDFS
09-23
在FastDFS中，文件存储主要分为两部分：Tracker Server和Storage Server。Tracker Server负责调度和管理，处理客户端的连接请求，进行负载均衡，分配文件上传和下载的Storage Server。而Storage Server则实际负责...
通过java向fastdfs上传文件实例
03-05
在IT行业中，文件存储系统是不可或缺的一部分，FastDFS就是这样一种轻量级的开源文件系统，尤其适用于互联网场景。本文将详细讲解如何通过Java开发语言来实现向FastDFS系统的文件上传功能。 FastDFS是一个高性能、...
FastDFS【FastDFS概述（简介、核心概念 、上传机制 、下载机制）】(一)-全面详解（学习总结---从入门到深化）
07-04 1365
FastDFS【FastDFS概述（简介、核心概念、上传机制、下载机制）】(一)-全面详解（学习总结---从入门到深化）
Java 获取fastDFS文件导出zip压缩文件
weixin_39502365的博客
11-12 1349
Java 获取fastDFS文件导出zip压缩文件 1、获取fastDFS文件byte[] /** * 导出压缩包 * @param vo * @param response */ public void downloadFileZip(DownloadFileVo vo, HttpServletResponse response) { List<Map<String,String>> files = new A
FastDFS文件存储(文件存储，图片存储，视频存储)
m0_61601521的博客
02-28 5609
常见图片存储方案： 1. 直接将图片保存到服务的硬盘（或者使用nginx搭建图片服务器） 优点：开发便捷，成本低 缺点：扩容困难 2. 使用开源的分布式文件存储系统，例如FastDFS、HDFS等 优点：容易实现扩容 缺点：开发复杂度稍大（尤其是开发复杂的功能） 3. 使用第三方的云存储服务，例如阿里云、七牛云等 优点：开发简单，拥有强大功能，免维护 缺点：付费 常见图片存储方......
fastDFS没有data文件夹
分享java知识，一起开卷
05-30 1144
fastDFS没有data文件的Bug日志
FastDFS分布式文件系统入门
小易
05-29 1778
FastDFS（Fast Distributed File System）是一款开源的分布式文件系统，它提供了高性能、高可靠性、高扩展性和高容错性的分布式文件存储解决方案。FastDFS采用了类似于Google File System（GFS）的架构，它的设计目标是解决大规模数据存储和高访问速度的问题。分布式架构：FastDFS采用分布式的设计，能够通过多台服务器共同完成文件存储和访问的任务，可以实现存储容量的无限扩展。
FastDFS：分布式文件存储
weixin_41765786的博客
07-28 1504
FastDFS是一个轻量级的开源分布式文件系统。2008年4月份开始启动。类似googleFS的一个轻量级分布式文件系统，纯C实现，支持Linux、FreeBSD、AIX等UNIX系统。主要解决了大容量的文件存储和高并发访问的问题，文件存取时实现了负载均衡。实现了软件方式的磁盘阵列（RedundantArraysofIndependentDrives，RAID），可以使用廉价的IDE（IntegratedDriveElectronics）硬盘进行存储。并且支持存储服务器在线扩容。和服务。...
分布式文件存储——FastDFS
qq_53226437的博客
03-06 2783
FastDFS FastDFS 是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。 特别适合以文件为载体的在线服务，如相册网站、视频网站等等 FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务 FastDFS 服务端有两个角色：跟踪器（tracker）和存储节点（storag
Athena电商系统——OSS存储服务服务设计
庄小焱
03-20 4794
摘要 在系统中需要有统一的存储系统，用于较大型的文件和图片进行存储，Athena系统中利用开源的FastDFS来构建Athena分布式文件存储系统SSO服务。用于整个系统的存储服务。（这个介绍分布式存储系统的背景，和意义） 一、分布式文件存储系统技术选型 二、FastDFS分布式文件存储系统原理 三、单节点FastDFS分布式文件存储系统构建（docker部署） 3.1 docker安装 FastDFS # 1.拉取镜像 docker pull delron/fastdfs
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值