spring boot实现大文件上传【分片上传】插件（x-file-storage），同时支持本地、FTP、SFTP、阿里云 OSS、腾讯云 COS、MinIO、 Amazon S3等

Json____

已于 2024-08-05 10:00:25 修改

阅读量1.7k

点赞数 6

分类专栏： Java 文章标签： spring boot 后端 java 分片上传 x-file-storage

于 2024-04-30 00:31:32 首次发布

本文链接：https://blog.csdn.net/Drug_/article/details/138329505

版权

Java 专栏收录该内容

167 篇文章 3 订阅

订阅专栏

这篇文章主要说一下前端分片后传给后端利用插件（x-file-storage）实现大文件上传方案

插件（x-file-storage）具体这个插件怎么使用简单的文件上传看下面的这篇博客有详细说明
博客地址：

https://blog.csdn.net/Drug_/article/details/137794530

如果大家没用过 x-file-storage 这个插件建议先看一下上面得这个博客再来用这个大文件上传
因为这个博客里没有讲解引入依赖配置那些东西
下面我直接分享大文件上传的代码这个插件的配置等等信息参考上面博客地址

先给大家看一下插件源码里提供的分片上传的 demo
在这里插入图片描述
但是他提供的例子不太适合前后端分离开发需要根据他的例子改
下面以我的理解说一下例子中哪里不合理

下面是我写的方案只测试了本地大文件上传没问题代码应该还存在细节问题大家请参考使用如果有更好的方案也可以留言分享给我我再补充博客
控制器

   //调用初始化 他会在他的file_detail 这个表里写一条数据 
    // 如果取消上传 或者异常 建议再写一个删除接口 把这条数据删除
    @ApiOperation(value = "初始化上传准备 filename 文件名 size 文件大小")
    @PostMapping("initUpload")
    public Map initUpload(@RequestParam("filename") String filename,@RequestParam("size") long size){
        return filesUtil.initUpload("dmt", filename,  size);
    }

    @ApiOperation(value = "大文件上传")
    @PostMapping("uploadBig")
    public R uploadBig(@RequestParam("file") MultipartFile file,  //分片文件
                       @RequestParam("chunkNumber") int chunkNumber,  //分片数
                       @RequestParam("totalChunks") int totalChunks,  //分片总数
                       @RequestParam("fileInfo") String fileInfo  //initUpload 初始化的返回值
    ){
        FileInfo fileInfo2 =  JSON.parseObject(fileInfo, FileInfo.class);
        Map<String, Objects> fileInfo1 = filesUtil.uploadFileBig(file, chunkNumber,totalChunks,fileInfo2);
        return R.data(fileInfo1);
    }

下面的代码就是为了让上面截图提到的代码只初始化一次也是写在 filesUtil 类里

  @Autowired
    private FileStorageService fileStorageService;//注入实列
    public R initUpload(String fileDir,String filename, long size) {
        if (StringUtils.isEmpty(fileDir)) {
            fileDir = "files";
        }
         this.init();
         //isSupportMultipartUpload
         // 这个判断是根据 fileStorageService 默认上传方式进行判断的 他的默认上传方式是本地上传
         // 他不会根据this.init(); 初始化了 然后修改默认上传方式 如果需要做"此存储类型不支持分片上传!" 这个判断 
         // 需要再FileStorageInit类里  init() 方法里 初始化的地方 增加一行代码 修改一下他的初始化值
         //  fileStorageService.getProperties().setDefaultPlatform(this.filesystemType);
        MultipartUploadSupportInfo supportInfo = fileStorageService.isSupportMultipartUpload();
        if (!supportInfo.getIsSupport()) {
            throw new RuntimeException("此存储类型不支持分片上传!");
        }
        FileInfo fileInfo = fileStorageService
                .initiateMultipartUpload()
                .setPath(generateFilePath(fileDir))
                .setOriginalFilename(filename)
                .setSaveFilename(getFileName() + "." + getFileExtensionWithDot(Objects.requireNonNull(filename)))
                .setSize(size)
                .init();
        log.info("手动分片上传文件初始化成功：{}", fileInfo);
        Map<String,FileInfo> map=new HashMap<>();
        map.put("fileInfo",fileInfo);
        return R.data(map);
    }

如果上面这段代码和分片上传的代码在前后端分离的情况写在一起不合适。多次初始化就会导致每次上传上来的分片数据都会
创建一个新得文件夹存放起来比如你上传了50次分片数据他就会创建50个文件夹
这样他正执行合并数据得时候就会合并失败！

初始化多次会创建多个文件夹就是setUploadId() 这个方法在起作用你可以给他设置一个值
比如 setUploadId(“tmp”) 临时目录但是文件存储表（file_detail）这个setUploadId 目前发现是是不能设置的
所以还是会出现多个文件夹
所以我认为最好得解决方案就是把示例里的代码拆分成两个接口调用分片之前先初始化返回给前端初始化数据，然后前端再调用分片的时候一直带着这个初始化数据！

uploadFileBig() 上传方法 filesUtil 类里

  public Map<String, Objects> uploadFileBig(MultipartFile file2,  int partNumber2, int countNumber,FileInfo fileInfo) {

        
        FilePartInfo filePartInfo = fileStorageService
                .uploadPart(fileInfo, partNumber2, file2, (long) file2.getSize())
                .setProgressListener(new ProgressListener() {
                    @Override
                    public void start() {
                        System.out.println("分片 " + partNumber2 + " 上传开始");
                    }

                    @Override
                    public void progress(long progressSize, Long allSize) {
                        if (allSize == null) {
                            System.out.println("分片 " + partNumber2 + " 已上传 " + progressSize + " 总大小未知");
                        } else {
                            System.out.println("分片 " + partNumber2 + " 已上传 " + progressSize + " 总大小"
                                    + allSize + " " + (progressSize * 10000 / allSize * 0.01) + "%");
                        }
                    }

                    @Override
                    public void finish() {
                        System.out.println("分片 " + partNumber2 + " 上传结束");

                    }
                })
                .setHashCalculatorMd5()
                .setHashCalculatorSha256()
                .upload();

     
        // 这个 分片数 和 总数  一定要让前端确保 按顺序排队上传 1分片 成功 才能上传分片 2 然后分片3 等等 
        // 如果不按顺序  合并的时候 随便合并成功了 但是文件是不能用的
        if (partNumber2 == countNumber) {
            fileStorageService.completeMultipartUpload(fileInfo)
                    .setProgressListener(new ProgressListener() {
                        @Override
                        public void start() {
                            System.out.println("文件合并开始");
                        }

                        @Override
                        public void progress(long progressSize, Long allSize) {
                            if (allSize == null) {
                                System.out.println("文件已合并 " + progressSize + " 总大小未知");
                            } else {
                                System.out.println("文件已合并 " + progressSize + " 总大小" + allSize + " "
                                        + (progressSize * 10000 / allSize * 0.01) + "%");
                            }
                        }

                        @Override
                        public void finish() {
                            System.out.println("文件合并结束");
                        }
                    })
                    .complete();
            log.info("手动分片上传文件完成成功：{}", fileInfo);
            Map map = JSON.parseObject(JSON.toJSONString(fileInfo), Map.class);
            return map;
        } else {
            Map map = JSON.parseObject(JSON.toJSONString(filePartInfo), Map.class);
            return map;
        }


    }

思路2：
如果大家觉得两个接口有点麻烦我觉得合并成一个接口应该也行，就根据文件名加用户id 把初始化的数据存到redis里
先判断redis 存在不不存在就初始化存在就直接分片上传，上传完成后，再把redis里的数据删除！

个人建议还是分开写两个接口好，如果后续需要做暂停，取消上传、继续上传应该都需要FileInfo 这个对象里的数据
目前我的需求里还没涉及到暂停，取消上传、继续上传但是我以我看到这个依赖的源码我觉得是后续扩展这些功能
应该是需要 FileInfo 这个对象里的数据

前端调用方式
一个大文件上传就初始化一次两个大文件上传就初始化2次
意思就是一个文件对应一个初始化 initUpload 一次后就一直分片调用uploadBig 这个接口一直到文件上传完成
在这里插入图片描述

代码里像分片验证就没写了如果有需要可以去看源码例子里有代码。

 Assert.isTrue(SecureUtil.md5().digestHex(bytes).equals(hashInfo.getMd5()), "分片 MD5 对比不一致！");
            log.info("分片 MD5 对比通过");
            Assert.isTrue(SecureUtil.sha256().digestHex(bytes).equals(hashInfo.getSha256()), "分片 SHA256 对比不一致！");