多线程大文件分片上传思路分享
思路分析
根据上图可以看出上传分片的整个思路,如果是同步上传的情况下是没有问题的,如果存在多线程上传,在“存入成功数量=总的分片数量”这步会存在问题,假设当前文件总的分片数量为:3,当第一个线程进入上传流程时,走到“存入成功数量=总的分片数量”,这个时候第二个、第三个线程已经进入到“存入分片文件”这一步,那么这个时候存入成功的数量是多少?如图:
如上图所示,这个时候的存入成功数量应该是3,在这种情况下,判断数量一致,我们再进行合并,但是中途会发生异常:提示资源被占用。
分析原因:存入的前提是需要创建一个空文件,再写入,第一个线程走到“存入成功数量=总的分片数量”判断是否全部上传完成是不准确的,有可能这个时候后面的线程只是创建了,但是还未写入完,还有可能是正在写入,而第一个线程的判断条件已满足了,就进行合并,这个时候就会出现资源被占用的情况,抛出异常。如图: