Java实现文件分片上传、大文件秒传

最新推荐文章于 2024-06-06 11:33:13 发布
最新推荐文章于 2024-06-06 11:33:13 发布
阅读量497 收藏 7
点赞数 18
文章标签： java 开发语言 后端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45525177/article/details/137689821
版权

Java实现文件分片上传、大文件秒传，Java实现文件分片上传，Java实现大文件秒传，Java实现大文件分片上传，Java实现大文件分块上传，Java实现文件夹上传，Java实现大文件切片上传，Java实现大文件切割上传，Java实现文件批量分片上传，Java实现文件加密上传，

文件比较大，有50G左右，用户希望能够在网页里面直接上传，一期的时候我们是直接用的HTML5的API，也就是chrome提供的API来做的，但是上线后用户反馈不是特别的好用，用户那边有些电脑用的是WIN7+IE9，chrome的API在ie9里面不支持。但是用户系统是支持的，这就把人整的有点不会了。二期的时候我们还是定制开发了，

前端用了JSP，VUE2,VUE3，后端用了JSP,SpringBoot，IDE用了Eclipse,MyEclipse，因为新项目和老项目都用了两种IDE。

用户要求能够在网页上面上传文件夹，文件夹里面大约有1万多个文件，有大有小，大的有1G~10G，小的有几MB，文件夹上传的时候需要保存层级结构，同时能够将层级结构信息保存到数据库中，同时还需要支持文件夹下载，下载下来的文件夹要和上传的文件夹层级结构一模一样。

用户上传的文件比较大，有20G左右，直接用HTML传的话容易失败，服务器也容易出错，需要分片，分块，分割上传。也就是将一个大的文件分成若干个小文件块来上传，另外就是需要实现秒传功能和防重复功能，秒传就是用户如果上传过这个文件，那么直接在数据库中查找记录就行了，不用再上传一次，节省时间，实现的思路是对文件做MD5计算，将MD5值保存到数据库，算法可以用MD5，或者CRC，或者SHA1，这个随便哪个算法都行。

分片还需要支持断点续传，现在HTML5虽然提供了信息记录功能，但是只支持到了会话级，也就是用户不能关闭浏览器，也不能清空缓存。但是有的政府单位上传大文件，传了一半下班了，明天继续传，电脑一关结果进度信息就丢失了，这个是他们的一个痛点。

要求支持断点续传，支持进度信息离线存储，用户可能传一半没有传完，下班了，明天上班后继续上传，电脑晚上到点需要关机，支持加密传输，支持国密加密算法SM4，要求支持下载，支持非打包方式下载，浏览器要求支持包含IE在内的所有浏览器，

系统环境要求支持信创国产化，比如银河麒麟，中标麒麟，统信UOS，龙芯，数据库支持MySQL,Oracle,达梦数据库,人大金仓，需要提供前端源码，后端源码，控件源码，公司自己的项目，也有自己的产品，后续需要集成使用，

要求提供7*24小时技术支持服务，提供文档教程，视频教程，远程技术指导，1对1技术支持服务，提供手机，微信，QQ，邮箱，企业微信等联系方式。

下载示例：

https://gitee.com/xproer/up6-jsp-eclipse/tree/6.5.40/

 

工程

NOSQL

NOSQL示例不需要任何配置，可以直接访问测试

创建数据表

选择对应的数据表脚本，这里以SQL为例

修改数据库连接信息

访问页面进行测试

文件存储路径

up6/upload/年/月/日/guid/filename


 

  


相关问题：
1.javax.servlet.http.HttpServlet错误
2.项目无法发布到tomcat
3.md5计算完毕后卡住
4.服务器找不到config.json文件

相关参考：

文件保存位置

源码工程文档：泽优上传下载-源码版-工程文档.pdf

源码报价单：泽优上传下载-源码版-2024.pdf

OEM版报价单：泽优上传下载-OEM版-2024.pdf

控件源码下载：https://drive.weixin.qq.com/s?k=ACoAYgezAAwbdKCskc

M_Snow
关注
  • 18
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Java大文件分片上传(minio版)，超详细
恋上、小幸福的博客
09-16 8492
import com/*** 自定义minio} }/*** 自定义minio} }/*** 自定义minio} }Multimap;import io/*** 自定义minio} }import io/*** 自定义minio} }import io/*** 自定义minio} }
java实现大文件上传分片上传断点续传.zip
08-12
java实现的大文件上传，支持断点续传 支持分片分片上传 采用springboot框架是实现
java实现大文件传输
最新发布
weixin_45525177的博客
06-06 598
网上一般的做法都是用的HTML5的API，也就是chrome提供的API，能够满足基本需求，但是还是有痛点，chrome限制死了，固定死了无法扩展，每个域名只允许5个TCP连接，导致了速度有上限，你也无法修改和扩展。java实现大文件传输，java实现大文件上传解决方案，java实现大文件上传，java实现大文件上传思路，java实现大文件上传实现方法，java实现大文件上传实例，java实现大文件上传源码，java实现大文件切片上传，java实现大文件分片上传，java实现大文件分块上传，
java文件上传(分片、秒传、断点续传)——文件分片上传
qq_45778079的博客
07-11 3219
关于文件上传的一些基本介绍（如文件上传、分片上传、md5值秒传、断点续传等）； 本文主要介绍的是文件分片上传的demo！
Java如何实现大文件分片上传,断点续传和秒传
m0_53157173的博客
10-30 4255
通俗的说，你把要上传的东西上传，服务器会先做 MD5 校验，如果服务器上有同样的东西，它就直接给你个新地址，其实你下载的都是服务器上的同一个文件，想要不秒传，其实只要让 MD5 改变，就是对文件本身做一下修改（改名字不行），例如一个文本文件，你多加几个字，MD5 就变了，就不会秒传了.分片上传，就是将所要上传的文件，按照一定的大小，将整个文件分隔成多个数据块（我们称之为 Part）来进行上传，上传完之后再由服务端对所有上传的文件进行汇总整合成原始的文件。
用JAVA实现文件的分割
03-23
用JAVA来实现文件的分割，还有一些例子供参考。
java对大文件分片上传
夜行僧的博客
08-15 1918
这里记录一下，Java对大文件的切分，和后端接口分片上传的实现逻辑正常，前后端分离的项目其实是前端去切分文件，后端接口接收到切分后的分片文件去合并，这里都用java来记录一下。特别说明：我这里用的是zip包的上传，里面是音频文件，如果你的文件是单个文件，切分和合并文件逻辑都是一样的，只是不用后续的解压。
Vue.Js及Java实现文件分片上传代码实例
10-15
在本文中，我们将深入探讨如何使用Vue.js和Java实现文件分片上传的代码实例。文件分片上传是一种处理大文件上传的技术，它将大文件分割成多个小块（分片），然后逐个上传，提高了上传的稳定性和效率。 首先，前端...
java大文件上传、秒传、断点续传、分片功能实现demo
11-09
分片上传是将大文件拆分为多个小块，然后分别上传。这样做的好处包括并发上传、容错和优化网络利用。在Java中，可以使用多线程或异步处理技术来同时上传多个文件片段。每个分片的上传结果需要记录，最后在服务器端...
轻松实现超大文件分片上传.zip
10-20
在“轻松实现大文件分片上传”的过程中，我们关注以下几个核心知识点： 1. **文件分片**：根据给定的分片长度（大小），我们可以使用编程语言的文件操作API，如Java的FileInputStream或Python的read()方法，读取...
java socket 大文件传输，快速传输（包的分片，组装）源码
03-21
java socket 大文件传输，快速传输， 数据包的分片，组装，涉及UDP，TCP传输技术，NIO非阻塞等等，适合对socket编程进一步学习的同学
java大文件分片上传示例
09-24
java大文件分片上传示例，java大文件分片上传示例，java大文件分片上传示例，欢迎大家下载！！
Java给文件分片和合并
weixin_43564923的博客
05-05 733
分片调用：传输好对应参数即可。编写工具类，给文件分片。
Java 大文件分片上传
我就是我不一样的美男子！
06-05 7616
原理：前端通过js读取文件，并将大文件按照指定大小拆分成多个分片，并且计算每个分片的MD5值。前端将每个分片分别上传到后端，后端在接收到文件之后验证当前分片的MD5值是否与上传的MD5一致，待所有分片上传完成之后后端将多个分片合并成一个大文件，并校验该文件的MD5值是否与上传时传入的MD5值一致；支持文件分片上传，查询当前已经上传的分片信息，取消文件上传 上传文件分片参数接收 如果按照分片方式上传文件需要指定当前大文件的MD5、分片MD5、分片内容、分片大小、当前文件名称、文件总大小等信息；另外对于每个文件
JAVA实现大文件的分片上传与下载
weixin_52041354的博客
03-29 501
需求：前端：VUE，HTML，JS，提供JS SDK，能够兼容现有项目，能够整合到现有项目中，不能对现有项目造成影响，提供相关的二次开发接口，方便业务整合，后端提供JAVA源代码，需要支持JSP和springBoot两种源代码，提供7*24小时技术支持服务，提供微信，手机，QQ，邮箱，企业微信等联系方式，提供长期技术支持服务，提供长期维护和升级服务，提供前端，后端，控件源代码，能够满足企业100%自主安全可控需求，公司有自已的产品，必须提供源代码和开发文档。NOSQL示例不需要任何配置，可以直接访问测试。
Java实现浏览器端大文件分片上传示例
Mr_Zang666的博客
07-10 109
分块上传，分块处理逻辑应该是最简单的逻辑了，up6已经将文件进行了分块，并且对每个分块数据进行了标识，这些标识包括文件块的索引，大小，偏移，文件MD5，文件块MD5（需要开启）等信息，服务端在接收这些信息后便可以非常方便的进行处理了。实现原理，就是在每个文件上传前，就获取到文件MD5取值，在上传文件前调用接口（/index/checkFileMd5，没错也是秒传的检验接口）如果获取的文件状态是未完成，则返回所有的还没上传的分块的编号，然后前端进行条件筛算出哪些没上传的分块，然后进行上传。
java文件上传(分片、秒传、断点续传)——文件断点续传
qq_45778079的博客
07-11 2424
关于文件上传的一些基本介绍（如文件上传、分片上传、md5值秒传、断点续传等）； 本文主要介绍的是文件断点续传的demo！
JAVA大文件分片上传示例，断点续传思路
qq_60960919的博客
08-19 96
关于断点上传，其实可以思考一下不难，就是重新上传要保证上传的文件有唯一的文件夹路径并且要把对应的文件夹下保证有所有的分片的文件然后合并到对应文件中即可。就是前端把file对象切片一点一点的上传，后端把文件一点一点的保存，要么前端发送完毕发送合并请求要么后端判断通过chunk和chunks的关系是否上传完毕再进行合并，为什么不边上传不边合并？，如果网络中断，合并断开引起的问题需要斟酌一下，还要确实不要把一个接口方法写的太多了，一个方法就做一个功能，后续的修改和优化也方便。分片上传的参考文章。
java实现文件分片上传并且断点续传
05-24
实现文件分片上传并且断点续传的一种常见方案是使用HTTP协议，将大文件进行分片上传，每个分片的大小可以根据具体情况设置，通常是几十KB到几百KB不等。上传过程中，服务器接收到每个分片后，将其存储到磁盘上。 同时，为了实现断点续传，客户端需要在上传前检查服务器上是否已经存在相同的文件。如果已存在，则客户端需要向服务器发送一个请求，以获取已上传分片的信息，然后继续上传未上传的分片。 下面是使用Java语言实现文件分片上传并且断点续传的示例代码： ```java import java.io.*; import java.net.HttpURLConnection; import java.net.URL; public class FileUploader { private static final String BOUNDARY = "----WebKitFormBoundary7MA4YWxkTrZu0gW"; public static void main(String[] args) throws Exception { String filePath = "C:\\test\\largeFile.zip"; String url = "http://localhost:8080/upload"; File file = new File(filePath); long fileSize = file.length(); int chunkSize = 1024 * 1024; // 1MB int chunkCount = (int) Math.ceil((double) fileSize / chunkSize); for (int i = 0; i < chunkCount; i++) { int start = i * chunkSize; int end = (i + 1) * chunkSize; if (end > fileSize) { end = (int) fileSize; } uploadChunk(url, file.getName(), i, chunkCount, start, end, file); } } private static void uploadChunk(String url, String fileName, int chunkIndex, int chunkCount, int start, int end, File file) throws Exception { URL uploadUrl = new URL(url); HttpURLConnection connection = (HttpURLConnection) uploadUrl.openConnection(); connection.setRequestMethod("POST"); connection.setDoOutput(true); connection.setRequestProperty("Content-Type", "multipart/form-data; boundary=" + BOUNDARY); DataOutputStream outputStream = new DataOutputStream(connection.getOutputStream()); outputStream.writeBytes("--" + BOUNDARY + "\r\n"); outputStream.writeBytes("Content-Disposition: form-data; name=\"file\"; filename=\"" + fileName + "\"\r\n"); outputStream.writeBytes("Content-Type: application/octet-stream\r\n\r\n"); FileInputStream inputStream = new FileInputStream(file); inputStream.skip(start); byte[] buffer = new byte[1024]; int len; int uploadedBytes = start; while (uploadedBytes < end && (len = inputStream.read(buffer)) != -1) { outputStream.write(buffer, 0, len); uploadedBytes += len; } inputStream.close(); outputStream.writeBytes("\r\n--" + BOUNDARY + "\r\n"); outputStream.writeBytes("Content-Disposition: form-data; name=\"chunkIndex\"\r\n\r\n"); outputStream.writeBytes(String.valueOf(chunkIndex) + "\r\n"); outputStream.writeBytes("--" + BOUNDARY + "\r\n"); outputStream.writeBytes("Content-Disposition: form-data; name=\"chunkCount\"\r\n\r\n"); outputStream.writeBytes(String.valueOf(chunkCount) + "\r\n"); outputStream.writeBytes("--" + BOUNDARY + "--\r\n"); outputStream.flush(); outputStream.close(); int responseCode = connection.getResponseCode(); if (responseCode != HttpURLConnection.HTTP_OK) { throw new RuntimeException("Failed to upload chunk: " + chunkIndex); } } } ``` 上述代码将文件分成若干个分片，每个分片大小为1MB，然后逐个上传到服务器。其中，`uploadChunk()`方法用于上传单个分片，它将分片数据和分片信息一起发送到服务器。服务器需要根据分片信息将所有分片组合成完整的文件。 此外，为了实现断点续传，还需要在服务器端实现一个接口，用于获取已上传分片的信息，并返回给客户端。在上传前，客户端需要向服务器发送一个请求，以获取已上传分片的信息，然后继续上传未上传的分片。在上传过程中，客户端需要记录已上传的分片信息，以便在上传失败后能够恢复上传进度。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值