java 控制器 增_使用Java中的ThreadPoolExecutor实现动态文件传输控制器

我最近不得不实现一个将文件从A传输到B的控制器.

大约有8000个文件,每个文件大小为1-2 MB.

>如果一个文件传输成功,则创建另一个线程. (目前增加corePooleSize 1)

>如果一个文件传输失败,请关闭一个线程重试传输.(当前增加corePooleSize -1)

>如果一个文件传输失败,请不要在特定时间创建另一个线程.

这背后的想法是在不知道主机限制的情况下获得最大可能的连接数/最佳传输速度.

现在我的问题是,ThreadPoolExecutor是实现此行为的最佳方式还是有更好的方法？

//Code simplified

//add all files to callables with type Future

while (true) {

// entry = get the first result that's done.

if (entry.getValue().get() == Boolean.TRUE) {

results.remove(entry.getKey());

if (results.size() > threadPool.getCorePoolSize()) {

if (System.currentTimeMillis() >= nextAttempt)

resizeThreadPool(+1);

}

} else {

resizeThreadPool(-1);

nextAttempt = System.currentTimeMillis() + someTimeinMs;

entry.setValue(threadPool.submit(entry.getKey()));

}

if (results.isEmpty())

return true;

}

编辑：有一个最低限度的&作为参数给出的最大线程数.

最佳答案 这是一个非常有趣的问题,因为每个文件传输的性能可变(读/写可能发生在本地磁盘或某个远程位置,而且并非所有磁盘/网络位置都始终具有相同的有效带宽).但是,我不确定使用传输成功/失败是决定何时增加或减少线程数的一个很好的指标.我怀疑由于过度配置线程的读/写位置而不会发生故障,它们可能只会减慢速度,与一次复制一个文件相比会产生一些额外的开销.在这种情况下,您将生成更多线程,直到您用完文件以复制或耗尽内存,以先到者为准.

也就是说,我认为从不同角度处理问题可能会更好.在我看来,以下约束是最重要的：

>您必须从某处读取每个文件.

>您必须将每个文件写入某个地方.

>读/写位置是任意的.

>在编写之前,您无法将每个文件都放入RAM中.

>你不能产生无限数量的线程(如果你尝试,你将耗尽内存).

考虑到这些约束,我会维护几个线程池,一个用于读取,一个用于写入,每个池轮询一个读/写请求队列.在最佳情况下,会在发现每个新的读/写位置时生成一个新线程,但是会限制为一定大小,因此您不会超出系统内存限制(或某些预定的可接受数量).您还需要设置一些缓冲区大小,如果文件大于该缓冲区大小,您将读取前N个字节,然后在读取下一个N字节之前将这些字节传递给写入队列.这样,您可以在完整读取之前开始将大文件写入目标,从而节省在写入之前读取整个文件所需的时间和内存.最后,您可以限制写入队列大小,以防止程序读取的数据超过您在任何给定时间可以放入程序RAM分配的数据.