JAVA 超大文件上传解决方案:分片断点上传(一)

于 2024-04-07 17:10:47 发布
阅读量721 收藏 17
点赞数 14
文章标签： java 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_52041354/article/details/137470520
版权

JAVA 超大文件上传解决方案:分片断点上传(一)，JAVA 超大文件上传解决方案，JAVA 超大文件10G上传解决方案，JAVA 超大文件上传50G解决方案，JAVA 超大文件上传100G解决方案，JSP超大文件上传解决方案，webuploader超大文件上传解决方案，百度webuploader超大文件上传解决方案，jsp超大文件上传解决方案，SpringBoot超大文件上传解决方案，SpringMVC超大文件上传解决方案，html5超大文件上传解决方案，vue超大文件上传解决方案，javascript超大文件上传解决方案，前端超大文件上传解决方案，网页超大文件上传解决方案，

后端用的JAVA，JSP，SpringBoot，前端用了JSP，VUE2，VUE3，React，需要实现大文件的上传和下载。

要求支持文件夹的上传下载，支持断点续传，支持加密传输，端到端的加密传输，上传过程中数据加密，下载过程中数据加密，下载后自动解密，上传支持加密存储，

文件夹下载支持以非打包方式下载，用户上传的文件夹包含1万个文件，文件有大有小，大的可能1G~10G，如果打包下载的话，服务器的磁盘空间不够。

文件夹上传支持保存层级结构，层级结构信息保存到数据库中，

文件夹下载支持保留层级结构，上传的是什么结构，下载同样是什么结构

加密算法支持国密SM4，涉密单位使用。

服务器支持Linux，Windows,macOS,CentOS,中标麒麟，银河麒麟，统信，龙芯，华为鲲鹏，

数据库支持MySQL，达梦数据库，人大金仓

需要提供前端源代码，后端源代码，控件源代码

需要提供7*24小时技术支持，长期技术支持，长期维护服务，1对1技术支持服务，二次开发培训服务，二次开发指导服务

需要提供手机，QQ，微信，企业微信，电子邮箱等联系方式

需要支持包含IE在内的全部浏览器

终端需要支持Windows,macOS,Linux,信创国产化环境，中标麒麟，银河麒麟，统信UOS，龙芯，华为

功能需要支持10G，50G,100G大文件上传和断点续传，刷新续传，重启续传

支持超大文件分片，分段，分块，分割上传下载，断点续传

支持文件夹上传，下载断点续传，支持文件夹层级结构，层级结构信息保存到数据库，下载的时候同样保留层级结构

支持加密上传，下载加密，端到端加密，国密SM4加密算法，数据加密传输，传输过程中要保证数据是加密的。

下载示例：

https://gitee.com/xproer/up6-jsp-eclipse/tree/6.5.40/

工程

NOSQL

NOSQL示例不需要任何配置，可以直接访问测试

创建数据表

选择对应的数据表脚本，这里以SQL为例

修改数据库连接信息

访问页面进行测试

文件存储路径

up6/upload/年/月/日/guid/filename

相关问题：
1.javax.servlet.http.HttpServlet错误
2.项目无法发布到tomcat
3.md5计算完毕后卡住
4.服务器找不到config.json文件

相关参考：

文件保存位置

源码工程文档：泽优上传下载-源码版-工程文档.pdf

源码报价单：泽优上传下载-源码版-2024.pdf

OEM版报价单：泽优上传下载-OEM版-2024.pdf

控件源码下载：https://drive.weixin.qq.com/s?k=ACoAYgezAAwbdKCskc

weixin_52041354
关注
  • 14
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
php大文件上传解决方案支持分片断点上传
11-06
对上传的文件进行分割，每次只上传一小片。服务端接收到文件后追加到原来部分，最后合并成完整的文件。 每次上传文件片前先获取已上传的文件大小，确定本次应切割的位置 每次上传完成后更新已上传文件大小的记录 ...
java实现大文件上传分片上传断点续传.zip
08-12
java实现的大文件上传，支持断点续传 支持分片分片上传 采用springboot框架是实现
前端如何上传大文件，请举例说明
BradenHan的专栏
02-08 2981
TOC/TOC。
前端大文件上传处理方案
weixin_45525177的博客
10-20 110
参考文章：http://blog.ncmem.com/wordpress/2023/10/20/%e5%89%8d%e7%ab%af%e5%a4%a7%e6%96%87%e4%bb%b6%e4%b8%8a%e4%bc%a0%e5%a4%84%e7%90%86%e6%96%b9%e6%a1%88/断点续传：这是一种基于分片上传的方案，它可以在上传过程中捕获上传的状态，以便在上传过程中发生错误或中断时恢复上传。这种方案通常需要在服务器端进行支持。分片上传：这是一种将大文件分成小块上传的方案。
HTML DOM INPUT FILE 大文件上传解决方案
alisky119的博客
04-07 333
HTML DOM INPUT FILE 大文件上传解决方案，HTML5大文件上传解决方案，HTML5大文件上传源代码，HTML5大文件上传源码，HTML5大文件上传代码，HTML5大文件上传技术，HTML5大文件上传技巧，HTML5大文件上传配置，HTML5大文件上传方法，HTML5大文件上传原理，HTML5大文件上传教程，HTML5大文件上传视频，javascript大文件上传技术，vue大文件上传技术，dom大文件上传技术，input file大文件上传技术，将up6组件复制到项目中。
前端文件流、切片下载和上传
不负光阴不负自己，不负被爱不负所爱 ​
03-10 3045
Blob对象和ArrayBuffer都是处理二进制数据的重要工具，但它们的使用场景和方式有所不同。Blob对象主要用于表示不可变的文件或二进制数据块，而ArrayBuffer则提供了一个原始二进制数据缓冲区，你可以通过类型数组或DataView对象来读写这个缓冲区的内容。在选择使用哪个工具时，应该根据你的具体需求来决定。
Web超大文件上传解决方案:分片断点上传(一)
Mr_Zang666的博客
03-24 882
文件上传是一个老生常谈的话题了，在文件相对比较小的情况下，可以直接把文件转化为字节流上传到服务器，但在文件比较大的情况下，用普通的方式进行上传，这可不是一个好的办法，毕竟很少有人会忍受，当文件上传到一半中断后，继续上传却只能重头开始上传，这种让人不爽的体验。断点续传是在下载或上传时，将下载或上传任务（一个文件或一个压缩包）人为的划分为几个部分，每一个部分采用一个线程进行上传或下载，如果碰到网络故障，可以从已经上传或下载的部分开始继续上传或者下载未完成的部分，而没有必要从头开始上传或者下载。
基于Java的FastDFS大文件上传与断点续传设计源码
最新发布
04-16
本源码项目是基于Java的FastDFS大文件上传与断点续传设计，包含36个文件，主要使用Java、JavaScript和CSS编程语言。该项目旨在实现h5与fastdfs之间的高性能断点续传、秒传、大文件上传以及使用redis文件锁。系统提供...
java大文件上传、秒传、断点续传、分片功能实现demo
11-09
java大文件上传、秒传、断点续传、分片功能实现demo （两个项目第一个spring boot+mysql实现，第二个springboot+redis实现）
大文件上传和下载解决方案
weixin_45525177的博客
10-07 398
但是切割之后的文件块是无法标识的，所以我们需要为文件确定一个唯一标识，我们常见会使用文件名来标识文件，但是文件名是可修改的，这样的标识是非常不可靠的，所以我们会基于文件内容来做一个标识，也就是计算文件的 md5 值，这样只要文件内容不修改，文件的 md5 值就不会变化。我们获取到的文件数据是ArrayBuffer类型，这个数据是不能直接操作的，所以我们需要使用类型数组来操作它，这里我们使用Unit8Array类型数组来合并文件数据，最后通过生成BlobUrl来进行文件下载。
前端文件上传及大文件上传如何实现
前端程序员、项目经理、人工智能博主
10-24 2745
文件 Hash 值的计算是 CPU 密集型任务，线程在计算 Hash 值的过程中，页面处于假死状态。所以，该任务一定不能在当前线程进行，我们。
前后端大文件切片上传(详细步骤)
10JQKA的博客
07-24 3716
对于文件通常前端向后端发送post或表单请求,基本是没什么问题的,但是大文件的上传是一个特殊的情况，不管怎样简单的需求，在量级达到一定层次时，都会变得异常复杂; 上传大文件时，以下几个变量会影响我们的用户体验,服务器处理数据的能力,请求超时,网络波动,失败后又需要重新上传等等。 其实分片上传，就是将所要上传的文件，按照一定的大小，将整个文件分隔成多个数据块 (Part) 来进行分片上传，从而减少请求时间，如何有某个分片请求失败，只需要重新发送即可，就不需要重新上传！
前端进阶-两小时吃透大文件上传
黑马程序员官方博客
06-21 2581
分片上传的原理就像是把一个大蛋糕切成小块一样。首先，我们将要上传的大文件分成许多小块，每个小块大小相同，比如每块大小为2MB。然后，我们逐个上传这些小块到服务器。上传的时候，可以同时上传多个小块，也可以一个一个地上传。上传每个小块后，服务器会保存这些小块，并记录它们的顺序和位置信息。所有小块上传完成后，服务器会把这些小块按照正确的顺序拼接起来，还原成完整的大文件。最后，我们就成功地上传了整个大文件。分片上传的好处在于它可以减少上传失败的风险。
前端大文件分片上传/多线程上传
Mr_Zang666的博客
06-06 243
了解了BJUI前端框架对于上传大文件的限制，可以这样使用，增大文件上传大小和数量，可以按照如下进行修改，我们在bjui-all.js文件看到uploadLimit属性和fileSizeLimit属性的限制，我们在jsp文件中可以这样进行替换，这里使用的是覆盖原则，重新定义uploadLimit属性和fileSizeLimit属性，覆盖bjui-all.js文件的默认值设置。
HTML DOM INPUT FILE 大文件上传方法
alisky119的博客
04-05 136
但是如果有上传文件夹，文件夹中包含很多文件，比如1万或者10万，这种场景下用起来就不是那么的舒服了，如果单个文件的大小超过10G，比如20G，这种场景下用起来也不是特别的舒服。还有批量下载的话HTML5的能力也有限，下是能下，但是每下一个文件就需要用户手动确认一下，那比如我要下载100个文件，也需要确认100次，用户不太接受这种方式。接口地址分别对应：文件初始化，文件数据上传，文件进度，文件上传完毕，文件删除，文件夹初始化，文件夹删除，文件列表。将up6组件复制到项目中。示例中已经包含此目录。
前端实现大文件的分片上传、断点续传、秒传的功能 vue2版本
梦雨的博客
08-02 450
使用vue2 element minio springboot 实现大文件的分片上传、断点续传、秒传的功能
SpringBoot实现大文件上传/下载(分片、断点续传)
weixin_45525177的博客
11-04 1257
参考文章：http://blog.ncmem.com/wordpress/2023/11/04/springboot%e5%ae%9e%e7%8e%b0%e5%a4%a7%e6%96%87%e4%bb%b6%e4%b8%8a%e4%bc%a0-%e4%b8%8b%e8%bd%bd%e5%88%86%e7%89%87%e3%80%81%e6%96%ad%e7%82%b9%e7%bb%ad%e4%bc%a0/大文件秒传：实际上是根据文件名称区一个唯一的md5值存储，传文件时进行判断，若存在则不传。
前端必学 - 大文件上传如何实现
热门推荐
热爱思考、活力满满、开朗爱笑的年轻人
03-29 1万+
前端必学 - 大文件上传如何实现写在前面问题分析开始操作文件如何切片 写在前面 1、正常的向后端发送请求，常见的 get、post 大家都很熟悉，是没有任何问题的；我们也可以用 post 或者表单请求发送 file文件 到后端。 但是大文件的上传是一个特殊的情况： 大文件上传最主要的问题就在于：在同一个请求中，要上传大量的数据，导致整个过程会比较漫长，且失败后需要重头开始上传。 首先是上传过程时间比较久，（要传输更多的报文，丢包重传的概率也更大），在这个过程中不能做其他操作，用户不能刷新页面，只能耐心等待
java实现文件分片上传并且断点续传
05-24
实现文件分片上传并且断点续传的一种常见方案是使用HTTP协议，将大文件进行分片上传，每个分片的大小可以根据具体情况设置，通常是几十KB到几百KB不等。上传过程中，服务器接收到每个分片后，将其存储到磁盘上。 同时，为了实现断点续传，客户端需要在上传前检查服务器上是否已经存在相同的文件。如果已存在，则客户端需要向服务器发送一个请求，以获取已上传分片的信息，然后继续上传未上传的分片。 下面是使用Java语言实现文件分片上传并且断点续传的示例代码： ```java import java.io.*; import java.net.HttpURLConnection; import java.net.URL; public class FileUploader { private static final String BOUNDARY = "----WebKitFormBoundary7MA4YWxkTrZu0gW"; public static void main(String[] args) throws Exception { String filePath = "C:\\test\\largeFile.zip"; String url = "http://localhost:8080/upload"; File file = new File(filePath); long fileSize = file.length(); int chunkSize = 1024 * 1024; // 1MB int chunkCount = (int) Math.ceil((double) fileSize / chunkSize); for (int i = 0; i < chunkCount; i++) { int start = i * chunkSize; int end = (i + 1) * chunkSize; if (end > fileSize) { end = (int) fileSize; } uploadChunk(url, file.getName(), i, chunkCount, start, end, file); } } private static void uploadChunk(String url, String fileName, int chunkIndex, int chunkCount, int start, int end, File file) throws Exception { URL uploadUrl = new URL(url); HttpURLConnection connection = (HttpURLConnection) uploadUrl.openConnection(); connection.setRequestMethod("POST"); connection.setDoOutput(true); connection.setRequestProperty("Content-Type", "multipart/form-data; boundary=" + BOUNDARY); DataOutputStream outputStream = new DataOutputStream(connection.getOutputStream()); outputStream.writeBytes("--" + BOUNDARY + "\r\n"); outputStream.writeBytes("Content-Disposition: form-data; name=\"file\"; filename=\"" + fileName + "\"\r\n"); outputStream.writeBytes("Content-Type: application/octet-stream\r\n\r\n"); FileInputStream inputStream = new FileInputStream(file); inputStream.skip(start); byte[] buffer = new byte[1024]; int len; int uploadedBytes = start; while (uploadedBytes < end && (len = inputStream.read(buffer)) != -1) { outputStream.write(buffer, 0, len); uploadedBytes += len; } inputStream.close(); outputStream.writeBytes("\r\n--" + BOUNDARY + "\r\n"); outputStream.writeBytes("Content-Disposition: form-data; name=\"chunkIndex\"\r\n\r\n"); outputStream.writeBytes(String.valueOf(chunkIndex) + "\r\n"); outputStream.writeBytes("--" + BOUNDARY + "\r\n"); outputStream.writeBytes("Content-Disposition: form-data; name=\"chunkCount\"\r\n\r\n"); outputStream.writeBytes(String.valueOf(chunkCount) + "\r\n"); outputStream.writeBytes("--" + BOUNDARY + "--\r\n"); outputStream.flush(); outputStream.close(); int responseCode = connection.getResponseCode(); if (responseCode != HttpURLConnection.HTTP_OK) { throw new RuntimeException("Failed to upload chunk: " + chunkIndex); } } } ``` 上述代码将文件分成若干个分片，每个分片大小为1MB，然后逐个上传到服务器。其中，`uploadChunk()`方法用于上传单个分片，它将分片数据和分片信息一起发送到服务器。服务器需要根据分片信息将所有分片组合成完整的文件。 此外，为了实现断点续传，还需要在服务器端实现一个接口，用于获取已上传分片的信息，并返回给客户端。在上传前，客户端需要向服务器发送一个请求，以获取已上传分片的信息，然后继续上传未上传的分片。在上传过程中，客户端需要记录已上传的分片信息，以便在上传失败后能够恢复上传进度。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值