fastDFS实现文件上传与下载

前言

我们在做项目的时候经常会遇到文件的上传与下载。你们是怎么做的呢？现在有一个技术可以非常简单的实现这个功能——fastDFS

简介

FastDFS是一个分布式文件系统，使用FastDFS可以非常容易搭建一套高性能的文件服务器集群提供文件上传、下载服务。

原理

它主要包含两个部分， Tracker server 和 Storage server 客户端请求 Tracker server 进行文件上传、下载，通过 Tracker server 调度最终由 Storage server 完成文件上传和下载。

Tracker server主要是用来进行负载均衡和调度。其实它就是一个调度服务器，通过一些策略找到Storage server来提供文件上传服务。而Storage server的主要作用就是用来进行文件存储。我们上传上来的数据最终也是存储到Storage服务器上的。需要注意的一点就是它本身是没有实现自己的文件系统，而是利用操作系统上的文件系统来管理文件的。所以Storage被称为存储服务器。

文件上传示意图：

文件下载示意图：

如何使用

1. 导入依赖

<dependency>
    <groupId>com.github.tobato</groupId>
    <artifactId>fastdfs-client</artifactId>
    <version>1.26.7</version>
    <exclusions>
        <exclusion>
            <groupId>ch.qos.logback</groupId>
            <artifactId>logback-classic</artifactId>
        </exclusion>
    </exclusions>
</dependency>

2. 编写配置文件

server.port=8080
# ===================================================================
# 分布式文件系统FDFS配置
# ===================================================================
fdfs.so-timeout = 1501
fdfs.connect-timeout = 601
#缩略图生成参数
fdfs.thumb-image.width= 150
fdfs.thumb-image.height= 150
#TrackerList参数,支持多个
fdfs.tracker-list=10.199.12.106:22122
#访问路径
fdfs.web-server-url=http://10.199.12.106:8888/

3. 代码
   创建一个工具类

import com.github.tobato.fastdfs.domain.fdfs.StorePath;
import com.github.tobato.fastdfs.domain.proto.storage.DownloadCallback;
import com.github.tobato.fastdfs.service.FastFileStorageClient;
import org.apache.commons.io.FilenameUtils;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Component;
import org.springframework.web.multipart.MultipartFile;
import java.io.ByteArrayOutputStream;
import java.io.IOException;
import java.io.InputStream;
@Component
public class FastDFSClientUtil {
    @Autowired
    private FastFileStorageClient storageClient;
    /**
     * 上传
     * @param file 文件类
     * @return fileId 文件Id,包含group和uri的完整路径 EG=>>MO/22/22/**.jpg
     * @throws IOException
     */
    public String uploadFile(MultipartFile file) throws IOException {
        StorePath storePath = storageClient.uploadFile((InputStream) file.getInputStream(), file.getSize(),FilenameUtils.getExtension(file.getOriginalFilename()), null);
        return storePath.getFullPath();
    }
    /**
     * 删除
     * @param filePath 文件的fileId 包含分组,EG=>>group1/M00/22/22/***.**
     */
    public void delFile(String filePath) {
        storageClient.deleteFile(filePath);
    }
    /**
     * 下载
     * @param groupName 分组id  EG=>> group10
     * @param path 文件uri 分组之后的内容[不含开头的/] EG=>>MO/22/22/kkk.jpg
     * @return 文件的字节数组
     */
    public byte[] download(String groupName, String path) throws IOException {
        InputStream ins = storageClient.downloadFile(groupName, path, new DownloadCallback<InputStream>() {
            @Override
            public InputStream recv(InputStream ins) throws IOException {
                // 将此ins返回给上面的ins
                return ins;
            }
        });
        ByteArrayOutputStream byteArrayOutputStream = new ByteArrayOutputStream();
        byte[] buff = new byte[100];
        int rc = 0;
        while ((rc = ins.read(buff, 0, 100)) > 0) {
            byteArrayOutputStream.write(buff, 0, rc);
        }
        return byteArrayOutputStream.toByteArray();
    }
}

实现功能

import com.doria.fastdfs.utils.FastDFSClientUtil;
import com.github.tobato.fastdfs.exception.FdfsServerException;
import lombok.extern.slf4j.Slf4j;
import org.apache.commons.lang3.StringUtils;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.web.bind.annotation.*;
import org.springframework.web.multipart.MultipartFile;
import javax.servlet.ServletOutputStream;
import javax.servlet.http.HttpServletResponse;
import java.net.URLEncoder;
@RestController
@RequestMapping("/file")
@Slf4j
public class FileController {
    //  引入客户端工具类
    @Autowired
    private FastDFSClientUtil fastDFSClientUtil;
    // 获取respon稍后向前端页面写入图片
    @Autowired
    private HttpServletResponse response;
    // 读取调度服务所在服务器稍后可以进行拼接，便于下次直接填写，这里由于nginx监听的是80端口，所以没有配置端口。默认访问80
    @Value("${fileServerUrl}")
    private String fileServerUrl;
    @PostMapping("/upload")
    public String uploadFile(MultipartFile file) {
        try {
            // 判断文件是否存在
            if (file == null) {
                throw new RuntimeException("文件不存在");
            }
            // 获取文件的完整名称
            String originalFilename = file.getOriginalFilename();
            if (StringUtils.isEmpty(originalFilename)) {
                throw new RuntimeException("文件不存在");
            }
            // 获取到返回的fileId
            String url = fastDFSClientUtil.uploadFile(file);
            // 拼接返回
            return fileServerUrl + url;
        } catch (Exception e) {
            e.printStackTrace();
        }
        return "文件上传失败";
    }
    // 删除文件[这里仅作测试用,实际中不会这样直接在controller删除
    // 是会根据业务从数据库中拿到url进行删除同时删除数据库关联数据，注意被占用无法删除]
    @DeleteMapping("/del")
    public String delFile(@RequestParam String fileId) {
        try {
            fastDFSClientUtil.delFile(fileId);
            return "删除成功";
        } catch (Exception e) {
            e.printStackTrace();
        }
        return "删除失败";
    }
    /**
     * 文件下载，页面直接访问我们这个服务器，在页面眼里，直接从我们这个服务拿到了文件，而我们去fastdfs服务器获取文件
     * 前方的ip端口我们可以固定一个服务器，ip就是当前方法所在服务器的ip，前端找到我们。我们再去给他下载转发
     * 也可以将这个服务部署在fastdfs的本地，然后通过springcloud即时发现服务调用下载服务
     * @param groupName
     * @param path
     */
    @GetMapping("/download")
    public void download(@RequestParam String groupName, @RequestParam String path) {
        try {
            // 拆分获取出文件名称,方便一会写入的时候写出正确的文件名(url中的文件名和服务器中是一致的，至少默认是这样的)
            String[] split = path.split("/");
            String imgName=split[split.length-1];
            // 设置请求头为附件模式
            response.setHeader("Content-disposition", "attachment;filename=" + URLEncoder.encode(imgName, "UTF-8"));
            // 调用客户端获取文件字节码
            byte[] imageByte = fastDFSClientUtil.download(groupName, path);
            // 从response获取响应流
            ServletOutputStream outputStream = response.getOutputStream();
            // 向流写入数据
            outputStream.write(imageByte);
            // 关流
            outputStream.close();
        }catch (FdfsServerException e){
            log.error("文件不存在");
        }
        catch (Exception e) {
            e.printStackTrace();
        }
    }
}