Java大文件分片上传/多线程上传方案

这里只写后端的代码,基本的思想就是,前端将文件分片,然后每次访问上传接口的时候,向后端传入参数:当前为第几块文件,和分片总数

下面直接贴代码吧,一些难懂的我大部分都加上注释了:

上传文件实体类:

看得出来,实体类中已经有很多我们需要的功能了,还有实用的属性。如MD5秒传的信息。

 

首先是文件数据接收逻辑,负责接收控件上传的文件块数据,然后写到服务器的文件中。控件已经提供了块的索引,大小,MD5和长度信息,我们可以根据需要来灵活进行处理,也可以将文件块的数据保存到分布式存储系统中。

 

文件初始化部分

 

第一步:获取RandomAccessFile,随机访问文件类的对象

第二步:调用RandomAccessFile的getChannel()方法,打开文件通道 FileChannel,这块逻辑可以优化,如果以后有分布式存储需求,可以改为分布式存储,减轻单台服务器的压力。

第三步:获取当前是第几个分块,计算文件的最后偏移量

第四步:获取当前文件分块的字节数组,用于获取文件字节长度

第五步:使用文件通道FileChannel类的 map()方法创建直接字节缓冲器  MappedByteBuffer

第六步:将分块的字节数组放入到当前位置的缓冲区内  mappedByteBuffer.put(byte[] b);

第七步:释放缓冲区

第八步:检查文件是否全部完成上传

文件夹扫描类

 

存储路径生成类

好了,到此就全部结束了,如果有疑问或批评,欢迎评论和私信,我们一起成长一起学习。

最后放一张实现的效果图

后端代码逻辑大部分是相同的,目前能够支持MySQL,Oracle,SQL。在使用前需要配置一下数据库,可以参考我写的这篇文章:http://blog.ncmem.com/wordpress/2019/08/07/java超大文件上传与下载/  
欢迎入群一起讨论“374992201”

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Java多线程 文件分片上传 fastDFS Java多线程可以用于文件分片上传,这是一种将大文件分割成多个小文件进行上传的方法。这样做的好处是可以提高上传速度,减小网络带宽压力,避免上传失败等问题,同时也可以更好地利用服务器资源。 FastDFS是一款高性能分布式文件系统,具有可扩展性、高性能、高可靠性等优点,可以用于文件上传文件下载、文件管理等应用场景。在文件上传方面,FastDFS支持文件分片上传,可以将大文件分割成多个小文件进行上传,同时还支持文件的负载均衡和高可用性。 结合Java多线程和FastDFS的优点,可以实现高效的文件分片上传功能。具体实现过程如下: 1. 将待上传的大文件分割成多个小文件,每个小文件的大小可以根据需要自行调整。 2. 使用Java多线程并发上传每个小文件到FastDFS,可以根据服务器性能和网络带宽设置上传线程数。 3. 等待所有小文件上传完成后,将文件片段合并成完整的文件,并删除上传的临时文件。 4. 根据需要可以进行文件校验和重传等操作,确保上传文件完整性和可靠性。 总之,结合Java多线程和FastDFS可以实现高效的文件分片上传功能,适用于大文件上传等场景。在实际应用中,还可以根据需要进行性能优化、错误处理等操作,以确保上传文件能够达到预期的效果。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值