刚入职场不久,前一段时间写了一个刷数据脚本,由于存在140w+数据,采用传统单线程方式,耗费时间太长,因此计划采用多线程的方式去进行实现。
开始想法是写了一个单元测试类,在内部去执行多线程刷数据。预想结果是,多线程会正常执行完毕后,在控制台输出----运行结束。但是,程序并没有按照预期的想法来执行,多线程并没有执行完,就输出了----运行结束。后来在网上查阅资料发现:当在单元测试中启动多个线程,但是多个线程启动或者执行比较耗时的情况下,Test线程结束后,会直接结束所有的线程,创建的多个线程不会去执行。后来只能采用main函数的方式去执行多线程程序。(请教各位大神有什么好的办法可以在单元测试中正确的执行多线程)
@Test
public void insertDataTest(){
// 要执行的多线程程序
Thread.start();
Thread.join();
// 单元测试输出
System.out.println("运行结束");
}
本以为用main线程,事情就告一段落。可是在使用线程池时,又碰到了另外的问题。原来的逻辑是一个while循环,while循环结束后,执行---线程结束标识代码,然后main线程退出。
但是在比对数据的过程中,发现一部分数据缺失。经过分析,发现是在main线程退出时,线程池的队列中仍然存在一部分排队请求没有执行,导致的任务丢失。开始想法是让main线程睡眠一段时间,然后再退出,后来发现,睡眠时间无法确定。经过查阅资料,可以采用--shutdown函数,表示无法往线程池中继续添加任务,然后循环对线程池的状态进行判断,如果到了终止状态,才去执行。测试了,发现没有问题。
while (true) {
// 多线程执行程序
EXECUTOR_SERVICE.exe();
}
// 等线程停止逻辑
EXECUTOR_SERVICE.shutdown();
while (!EXECUTOR_SERVICE.isTerminated()){
}
// 线程结束标识
Sysytem.out.println("运行结束”);
System.exit(0);