10G大文件、秒传、断点续传、分片上传

最新推荐文章于 2024-07-01 10:24:41 发布

莫轻言舞

最新推荐文章于 2024-07-01 10:24:41 发布

阅读量470

点赞数

分类专栏： java spring 文章标签：服务器 java

本文链接：https://blog.csdn.net/yuechuzhixing/article/details/124726351

版权

本文介绍了大文件上传的优化策略，包括秒传、分片上传和断点续传。秒传通过MD5校验避免重复上传；分片上传将大文件拆分为多个部分上传，适合网络不稳定场景；断点续传记录上传进度，支持在网络中断后从断点处继续上传。文章还详细阐述了其实现逻辑和关键代码实现。

摘要由CSDN通过智能技术生成

超大文件上传是一个老生常谈的话题了，在文件相对比较小的情况下，可以直接把文件转化为字节流上传到服务器，但在文件比较大的情况下，用普通的方式进行上传，这可不是一个好的办法，毕竟很少有人会忍受，当文件上传到一半中断后，继续上传却只能重头开始上传，这种让人不爽的体验。

那有没有比较好的上传体验呢，答案有的，就是下边要介绍的几种上传方式

通俗的说，你把要上传的东西上传，服务器会先做MD5校验，如果服务器上有一样的东西，它就直接给你个新地址，其实你下载的都是服务器上的同一个文件，想要不秒传，其实只要让MD5改变，就是对文件本身做一下修改（改名字不行），例如一个文本文件，你多加几个字，MD5就变了，就不会秒传了

a、利用redis的set方法存放文件上传状态，其中key为文件上传的md5，value为是否上传完成的标志位，

b、当标志位true为上传已经完成，此时如果有相同文件上传，则进入秒传逻辑。如果标志位为false，则说明还没上传完成，此时需要在调用set的方法，保存块号文件记录的路径，其中key为上传文件md5加一个固定前缀，value为块号文件记录路径

分片上传，就是将所要上传的文件，按照一定的大小，将整个文件分隔成多个数据块（我们称之为Part）来进行分别上传，上传完之后再由服务端对所有上传的文件进行汇总整合成原始的文件。

1、大文件上传

2、网络环境环境不好，存在需要重传风险的场景

断点续传可以看成是分片上传的一个衍生，因此可以使用分片上传的场景，都可以使用断点续传。

在分片上传的过程中，如果因为系统崩溃或者网络中断等异常因素导致上传中断，这时候客户端需要记录上传的进度。在之后支持再次上传时，可以继续从上次上传中断的地方进行继续上传。

为了避免客户端在上传之后的进度数据被删除而导致重新开始从头上传的问题，服务端也可以提供相应的接口便于客户端对已经上传的分片数据进行查询，从而使客户端知道已经上传的分片数据，从而从下一个分片数据开始继续上传。

关注

专栏目录