JAVA+VUE3.0+MINIO 大文件上传（极速上传，分片上传）

文章目录

• • 定义分片大小
  • 急速上传
  • • 文件MD5
  • 分片上传
  • • 创建分片上传任务
    • • 前端计算文件分片数量
      • 自定义MINIO CLIENT
      • 调用后台接口创建上传任务
      • 创建单文件上传任务
      • 创建分块上传任务
      • 校验桶是否存在（不存在则创建）
    • 分片文件合并
    • • 获取指定 uploadId 下已上传的分块信息
      • MINIO 文件合并

记录一下自己在实现大文件上传时的简单思路和核心代码。

大体思路如下：
1、数据库中存放文件路径，所有文件保存在 MINIO 中，文件名即是文件的 MD5。
2、当用户上传文件时，首先判断该文件信息是否存在在数据库中，如果存在则直接显示上传成功（急速上传），若不存在则执行上传操作。
3、文件在真正上传之前先判断文件大小，太小的不需要创建分片上传任务，一次性上传即可。
4、后台调用 MINIO 的 API 创建分片上传任务（得到一个任务 ID ），并为该任务生成分片上传链接（上传地址列表）后返回给前端，前端将对应分片按照到对应的连接传递到 MINIO 中。
5、分片上传成功后更新进度信息。
6、所有分片上传结束后，调用 MINIO 的 API 将当前任务的分片全部合并形成整个文件。

定义分片大小

const chunkSize = 5 * 1024 * 1024; // 切片大小为5M

急速上传

文件MD5

前端使用 SparkMD5 获取文件的 MD5 信息，当该 MD5 信息已经存在在数据库中时，即上传完成（急速上传）
下面是获取文件 MD5 的方法

import SparkMD5 from 'spark-md5';


 
//获取文件的MD5信息 分片获取
const ReadFileMD5 = (param) => {
  return new Promise((resolve, reject) => {
    const file = param.file;
    const fileReader = new FileReader();
    const md5 = new SparkMD5();
    let index = 0;
    const loadFile = () => {
      const slice = file.slice(index, index + chunkSize);
      fileReader.readAsBinaryString(slice);
    };
    loadFile();
    fileReader.onload = (e) => {
      md5.appendBinary(e.target.result);
      if (index < file.size) {
        index += chunkSize;
        loadFile();
      } else {
        // md5.end() 就是文件md5码
        var md5Str = md5.end();
        return resolve(md5Str);
      }
    };
    fileReader.onerror = () => {
      reject('文件MD5获取失败');
    };
  });
};

当确认该文件的 MD5 在数据库中不存在时，开始触发我们的上传操作

分片上传