多线程大文件分片上传思路分享

本文分享了多线程环境下大文件分片上传的并发问题及解决思路,强调了使用写入成功数量而非同步标记作为合并条件的重要性,通过ConcurrentDictionary实现线程安全的计数。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

多线程大文件分片上传思路分享

思路分析

在这里插入图片描述
根据上图可以看出上传分片的整个思路,如果是同步上传的情况下是没有问题的,如果存在多线程上传,在“存入成功数量=总的分片数量”这步会存在问题,假设当前文件总的分片数量为:3,当第一个线程进入上传流程时,走到“存入成功数量=总的分片数量”,这个时候第二个、第三个线程已经进入到“存入分片文件”这一步,那么这个时候存入成功的数量是多少?如图:
在这里插入图片描述
如上图所示,这个时候的存入成功数量应该是3,在这种情况下,判断数量一致,我们再进行合并,但是中途会发生异常:提示资源被占用。
分析原因:存入的前提是需要创建一个空文件,再写入,第一个线程走到“存入成功数量=总的分片数量”判断是否全部上传完成是不准确的,有可能这个时候后面的线程只是创建了,但是还未写入完,还有可能是正在写入,而第一个线程的判断条件已满足了,就进行合并,这个时候就会出现资源被占用的情况,抛出异常。如图:

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值