大文件断点续传、快传秒传实现方案

前言
为什么视频、音频、大型文档等大文件不能也直接上传吗，简单又方便？

遇到手动暂停、网络中断、网络不稳定或者服务端响应超时，当你终于半天到99%，网络突然断开喜提从0%再来一次

再者一次服务接受如此大的数据传输，不说服务器肯同意接收，即使配置同意接受这常常会使服务器出现响应超时或者陷入阻塞。为了解决这些问题，支持断点续传就变得非常必要了

快传、秒传⭐

文件块的上传时计算MD5值，根据MD5去查数据库文件块表，如果存在直接带着查到的记录返回上传成功！！

至于整个大文件是否需要计算MD5来比对数据库文件表，这取决于实际需求来决定。在某些特定场景下，可能需要验证整个大文件的完整性，或者需要将大文件的 MD5 值保存在后端进行后续比对等操作，在这种情况下，就需要计算整个大文件的 MD5 值

（快传、秒传广泛应用于网盘云存储、多平台同步、文件分享和传递、在线备份的场景）

断点续传⭐⭐

将大文件是数据分割为多个相同大小的小片，每个分片带着自己的序号和MD5值独立上传。如果发生事件导致传输中断，下一次传输时重新传输即可，已传输过的分片会根据MD5直接返回传输成功！！

（相同分片大小是为了服务端能够找到该分片在文件写入的起始位置，但是最后一个分片的大小可以小于等于分片大小）

上传流程
这里引入一张较为完整的流程图

细节思路
MD5如何计算 🌙🌙

网上的一种思路MD5(浏览器ID（服务端写在cookie中） + 文件名 + 文件大小 + 文件修改时间 )的格式，进行MD5降重，也避免了MD5计算量大的问题。这种方式适用于个人文件上传的场景，并不适合多平台同步、文件分享传输的场景，因为即使一模一样的两个文件多个用户或者浏览器计算得出的MD5值是不一样的

最好的计算方法是用文件的内容进行MD5计算，但计算量极大，过多的耗时会影响上传的体验，需要尽量控制在MD5计算前限制用户所选文件不能过大

分片的上传方式🌙🌙

先发送一个不携带文件块二进制数据的预检请求，判断文件是否上传完成，分片上传的FormData附带以下参数，序号、总块数、文件ID、分片大小、文件大小、分片的MD5、文件块二进制数据

选择串行还是并发上传，因为js是单线程的无法类似于java线程的方式执行并发上传的任务，但是有一些流行的前端库和框架（如axios、Fetch API、jQuery AJAX等）提供了并发请求的功能，需要注意的是，并发上传可能会对服务器和网络带宽造成一定的负担，对用户体验造成负面影响

分片大小🌙🌙

分片大小的确定一般由前端动态确定，后端还可以根据自身的需求和系统性能，对分片大小进行一定的限制或调整

较大的分片可以提高上传速度，但会增加单个分片上传失败的风险，较小分片可以降低单个分片上传失败的风险，但同时也会提高服务器处理的复杂度

是否需要合并🌙

需要分片合并的场景：服务端每次接收一小片文件保存成一个临时文件，等待所有片段传输完毕后，再执行合并，如果原始文件足够小，只要合理控制分块大小这种方式是可以的，但文件大小达到几百MB或者几个GB，合并文件的时间会非常长，常常导致浏览器响应超时或服务器阻塞，而且服务端会额外多占用一倍的存储空间

如果是每收到分片文件就在文件内指定偏移位置写入的方案，并不需要额外空间保存文件分块，也不需要在上传结束后进行分块的合并

前后端核心方法🌙🌙

JS文件分片的核心方法， File的slice()

JAVA写入分片的核心方法， RandomAccessFile的write() / MappedByteBuffer的write()

RandomAccessFile和MapperdByteBuffer都能实现对文件任意位置的读取和写入数据，适用于大文件的读写尤其是频繁读写场景。

两者的不同在于

前者是Java IO提供的类，读写过程中seek()能指定跳转到不同位置，实现随机访问；
后者是Java NIO提供的类，使用内存映射文件的方式将文件的一部分映射到内存中进行读写，这种方式避免传统的IO磁盘操作直接调用系统底层的缓存,没有JVM和系统之间的复制操作，所以效率非常高
代码实现
浏览器端（B/S的B）
vue项目实现
npm下载md5工具和vue-upload文件上传插件

html的实现
引入一个md5工具

Java客户端（C/S的C）
提供一个文件分割与合并的工具类，使用线程池技术，速度很快

Java服务端（C/S或B/S的S）
提供一个文件分割与合并的工具类，使用线程池技术，速度很快

参考文章：http://blog.ncmem.com/wordpress/2023/09/22/%e5%a4%a7%e6%96%87%e4%bb%b6%e6%96%ad%e7%82%b9%e7%bb%ad%e4%bc%a0%e3%80%81%e5%bf%ab%e4%bc%a0%e7%a7%92%e4%bc%a0%e5%ae%9e%e7%8e%b0%e6%96%b9%e6%a1%88/
欢迎入群一起讨论