背景
一般来说,由于Java有垃圾回收机制存在,只需要确保不要写出内存泄露的代码,不需要手动回收资源。然而有时候Java程序会依赖一些外部的资源,如在线程池中调用浏览器爬取网页时,为了避免频繁打开浏览器,可以在线程启动时打开一个浏览器,之后一直复用,在线程退出时再把浏览器关掉。
这样就遇到一个问题,如何在线程池回收非核心线程/线程池关闭时把打开的浏览器关掉?
实现方法
首先要知道线程池是如何复用线程的。实际上就是在runWorker
方法中,通过循环不断获取到任务task
,执行run()
方法。当线程结束时会执行一个processWorkerExit
方法。理想情况下,在这个方法中执行一些操作是最合适的。然而图中的这些方法都是private的,一般没有办法修改,因此需要再想其他方法。
再把目光向外继续扩展,runWorker
方法被Worker
类的run
方法调用的。run
方法是实现Runnable
接口的方法。在构造函数中,由于实现了Runnable
方法,自身作为Thread
类的target,启动新线程的时候Worker.run
会被Thread.run
方法调用。
直到这里,终于找到了一个可以重写的public
方法,只要设法修改Worker
类构造函数中获得的Thread
对象,就可以在run
方法后加一段操作。
整体的结构如下
最终,通过在ThreadPoolExecutor
构造函数中传入一个自定义的ThreadFactory
就实现了目的。
代码实现
import java.util.concurrent.LinkedBlockingQueue;
import java.util.concurrent.ThreadFactory;
import java.util.concurrent.ThreadPoolExecutor;
import java.util.concurrent.TimeUnit;
public class ResourceCleanTest {
/**
* 将浏览器放在ThreadLocal中,可以在多线程中方便地获取浏览器实例
*/
private static final ThreadLocal<Integer> chromeThreadLocal =
ThreadLocal.withInitial(() -> {
// 模拟打开浏览器的操作
System.out.println(Thread.currentThread().getName() + "初始化浏览器");
return 0;
});
public static void main(String[] args) throws InterruptedException {
ThreadPoolExecutor crawlerThreadPoolExecutor =
new ThreadPoolExecutor(2,
2,
5,
TimeUnit.SECONDS,
new LinkedBlockingQueue<>(),
new ThreadFactory() {
@Override
public Thread newThread(Runnable r) {
// 重写Thread类的run方法,在执行完所有任务后关闭浏览器
return new Thread(r) {
@Override
public void run() {
try {
super.run();
} finally {
// 模拟quit操作
chromeThreadLocal.remove();
System.out.println(Thread.currentThread().getName() + "关闭浏览器");
}
}
};
}
});
/*
为了比较直观地看到线程池的线程触发超时,直接允许核心线程超时
关于如何充分利用非核心线程有另一篇文章可以参考
https://blog.csdn.net/yang_wen_wu/article/details/105820660
*/
crawlerThreadPoolExecutor.allowCoreThreadTimeOut(true);
// 下载五个网页,由于有线程池只有两个线程,因此会有线程多次下载网页
for (int i = 0 ; i < 5 ; i++) {
crawlerThreadPoolExecutor.execute(() -> {
chromeThreadLocal.get();
System.out.println(Thread.currentThread().getName() + "调用浏览器下载了一个网页");
});
}
// 等待超时
Thread.sleep(10 * 1000);
}
}
程序输出如下
Thread-0初始化浏览器
Thread-1初始化浏览器
Thread-1调用浏览器下载了一个网页
Thread-0调用浏览器下载了一个网页
Thread-1调用浏览器下载了一个网页
Thread-0调用浏览器下载了一个网页
Thread-1调用浏览器下载了一个网页
Thread-0关闭浏览器
Thread-1关闭浏览器
可以看到,2个线程在第一次下载网页时打开了浏览器,在所有任务结束后自己关闭了浏览器,比较好地完成了需求。