大文件上传分片合并java并发开发要点

前面介绍过大文件上传分片合并的nodejs并发示例，主要有mapLimit、Promise、pipeline、fs.createReadStream、fs.createWriteStream(注意，这个设置写入偏移量)等要点，可以实现将文件分片并发写入目标文件的。
java的话，不太熟悉去搜的话，一下子能找到很多关于文件操作的类，为了支持从指定偏移量开始写入数据，那么只能使用这个RandomAccessFile，另外好像MappedByteBuffer这个看起来比较高级，但是在文件分片合并场景下并不简明，除了需要维护FileChannel外，还需要在内存中申请分配空间容纳文件分片内容，并发的话，则还需要申请更多的内存，而RandomAccessFile配合流操作，内存资源占用低。
目标文件以RandomAccessFile的rw模式new出来，seek到目标分片起始位置。
不过RandomAccessFile不支持管道流，类似nodejs里的pipeline方法无法直接使用，不过可以利用Channel转换成Stream。apache.commons.ioFileUtils的copyFile可以往Stream里写入文件。

import java.nio.channels.Channels;
import org.apache.commons.io.FileUtils;
...
	RandomAccessFile raf = new RandomAccessFile(targetfilename, "rw");
    raf.seek(offset);
    OutputStream output = Channels.newOutputStream(raf.getChannel());
    FileUtils.copyFile(new File(chunkfilename),output);

多分片并发写入采用线程池，限制一下并发线程数 FixedThreadPool

	ExecutorService pool = Executors.newFixedThreadPool(8);//合并并发线程数
	chunklist.stream().filter(item-> (item.reqid==req.reqid)&&(item.filename==req.filename).forEach(obj->{
    	pool.submit(new FileWriteThread(chunksize * obj.chunkid, obj.chunkname, obj.filename);
        });
    pool.shutdown();
	pool.awaitTermination(10, TimeUnit.MINUTES);//10分钟？跟你的服务器IO能力和打算支持的最大文件size有关，我虚拟机上2分钟大概能合并大小30GB的文件
    chunklist.removeIf(item-> (item.reqid==req.reqid)&&(item.filename==req.filename));