这两个月来因为工作和家庭的事情,导致一直都很忙,没有多少时间去汲取养分,也就没有什么产出,最近稍微轻松了一点,后续的【进阶之路】会慢慢回到正轨。
开门见山的说,第一次接触到多线程处理同一个任务,是使用IO多线程下载文件,之后也一直没有再处理这一块的任务,直到前几天有同事问我,为什么多线程处理一个list集合会出现各种bug,以及如何使用多线程的方式处理同一个list集合。
第一、为什么会出现类似于重复处理某一个模块的问题?
我们都知道,在Java中,每个线程都有自己独立的工作内存,线程对共享变量的所有操作都必须在自己的工作内存中进行,不能直接从主内存中读写。
如果线程1的修改内容想被线程2得到,那么线程1工作内存中修改后的共享变量需要先刷新到主内存中,再把主内存中更新过的共享变量更新到工作内存2中。
这个时候一般我们是考虑使用java中各种同步化的方法,首先,因为是需要高效处理list集合,所以可以排除synchronized方法,于是我想到了使用CompletionService操作异步任务。
大家可以在这篇文章看到具体的详解:
【进阶之路】线程池拓展与CompletionService操作异步任务
一、CompletionService
首先,按照之前文章的方法自定义一个WeedThreadPool
public class WeedThreadPool extends ThreadPoolExecutor {
private final ThreadLocal<Long> startTime =new ThreadLocal<>();
private final Logger log =Logger.getLogger("WeedThreadPool");
//统计执行次数
private final AtomicLong numTasks =new AtomicLong();
//统计总执行时间
private final AtomicLong totalTime =new AtomicLong();
/**
* 这里是实现线程池的构造方法,我随便选了一个,大家可以根据自己的需求找到合适的构造方法
*/
public WeedThreadPool(int corePoolSize, int maximumPoolSize, long keepAliveTime, TimeUnit unit, BlockingQueue<Runnable> workQueue) {
super(corePoolSize, maximumPoolSi