我在我的
Java应用程序中使用线程来并行获取数据(使用网络调用).我有一个方法(不在线程类中),它创建一个给定大小(最大10-15)的线程池并将它们用于网络调用,我从循环中多次调用该方法.
当我在慢速机器(3 GB RAM,Pentium-IV)上运行此应用程序时,一切正常,但是当我在iMac(32 GB RAM,i7处理器)上运行它时,它创建了太多线程,大约2,500个有时会抛出一个内存不足的错误.
我怀疑JVM在完成后不会将完成的线程重新放回池中,因此它正在创建新线程.
甚至在iMac上,如果我保留Thread.sleep(1000);在我上面提到的for循环中一切正常.虽然创建了大约900个线程.
以下是此应用程序的代码示例:
public ArrayList getValuesForKeyFromMaps(String key,ArrayList locations) throws InterruptedException,ExecutionException {
int threadNum = locations.size(); // 10-15 at max
ExecutorService executor = Executors.newFixedThreadPool(threadNum);
List>> taskList = new ArrayList>>();
for(final Meta location : locations){
FutureTask> futureTask_1 = new FutureTask>(new Callable>() {
public ArrayList call() throws Exception {
// Service call
return getValues(key,location);
}
});
taskList.add(futureTask_1);
executor.execute(futureTask_1);
}
ArrayList values = new ArrayList();
// Wait until all results are available and combine them at the same time
for (int j = 0; j < threadNum; j++) {
FutureTask> futureTask = taskList.get(j);
values.addAll(futureTask.get());
}
executor.shutdown();
return values;
}
如果我在iMac上使用下面的for循环调用上面的方法,它会抛出一个内存错误,因为它创建了大约2,500个线程.但它在较慢的机器上工作正常.
for(String key : keySet){
getValuesForKeyFromMaps(key,MetaMap.get(key));
}
并且,使用以下代码,在iMac上,它可以正常工作,大约有900个线程.
for(String key : keySet) {
getValuesForKeyFromMaps(key,MetaMap.get(key));
Thread.sleep(200); // Sleeping for 200 ms
}
如果我将上面的for循环中的睡眠时间增加到1000毫秒,它只创建30-50个线程并且应用程序正常工作.
如何控制应用程序中允许的最大线程数?我打算在给定时间最多创建/使用10-15个线程,但Java创建的太多了.