Minio 断点续传和断点下载实现方案

系列文章目录

第十三章 Minio 断点续传和断点下载实现方案

---

---

前言

在之前，我们实现了常用的上传下载、分片上传、秒传等功能，实际一个文件存储管理系统，这些远远还是不够的，比如断点续传。

可以参考阿里的文档，是怎么实现这些功能的。

阿里OSS开发文档：https://help.aliyun.com/zh/oss/developer-reference/resumable-upload-10

---

断点续传

概念

通过断点续传上传的方式将文件上传到OSS前，您可以指定断点记录点。上传过程中，如果出现网络异常或程序崩溃导致文件上传失败时，将从断点记录处继续上传未上传完成的部分。

方案

要实现断点续传，需要依赖于MD5秒传和分片上传。之前我们分片上传的简单流程如下图所示，我们可以在这个流程中加入端点续传。

1. 文件状态查询

首先上传文件之前，除了创建分片请求之外、获取uploadId之外，还需要在根据文件的MD5去查询该数据的状态，比如是已上传过、上传了一部分、上传完成、上传失败等。

如果该文件已上传过则直接返回访问链接。

2. 查询已上传分片信息

如果是上传失败，则查询根据该文件uploadId 查询已上传的分片信息，Minio 是支持这种查询的，比如下图中就可查到分片的相关信息：

3. 继续上传

对于已上传的分片，获取链接时，直接返回该分片已上传，前端根据状态去判断跳过该分片上传，执行未上传分片的请求，这样就能做到断点续传了。

断点下载

当下载大文件时，如果网络不稳定或者程序异常退出，会导致下载失败，甚至重试多次仍无法完成下载。

为此，OSS需要提供了断点续传下载功能。断点续传下载将需要下载的文件分成若干个分片分别下载，所有分片都下载完成后，将所有分片合并成完整的文件。

在Minio中的java SDK 中是提供了对象数据查询的API，可以查看到对象的数据大小信息。

知道文件大小之后，我们就可以进行切片，比如100M的大小，按照5M进行切分为20片，计算出每一片的起始位置和长度，Minio 获取文件的API 是支持分段获取流的。

在实现了上述的分片下载后，就可以实现断点下载了，原理和上传一样，如下图所示：