多线程处理List并将结果合并

1.背景：

处理一个数据比较大的list（80w），并获取返回结果。发现时间比较长。打算使用多线程解决。一开始打算使用@Async  异步多线程操作。后面发现在合并操作结果的时候没有思路。

查找相关资料以后，使用了Callable和Future解决了问题。

2.相关知识点：

Callable接口定义了方法public T call() throws Exception。我们可以在Callable实现中声明强类型的返回值（这个符合我们处理函数有返回值的需求），Future 用于获得 Callable 返回的结果。

3.代码示例

 

import java.util.ArrayList; import java.util.List; import java.util.concurrent.Callable; public class CallableDemo implements Callable<List<String>> {     private List<String> list;     //构造函数，用于传送数据进来     public CallableDemo(List<String> list)     {         this.list = list;     }      public List<String> call() throws Exception     {         // 标记子线程开始         System.out.println(Thread.currentThread().getName()+" Callable 子线程开始...");         //结果存储         List<String> resultList = new ArrayList<String>();         // 业务逻辑处理         for (String single:list)         {             if(Integer.parseInt(single)%2==0){                 resultList.add(single);             }         }         // 标记子线程结束         System.out.println(Thread.currentThread().getName()+" Callable 子线程结束...");         return resultList;     } }

import com.google.common.collect.Lists; import org.junit.jupiter.api.Test; import java.util.ArrayList; import java.util.List; import java.util.concurrent.ExecutionException; import java.util.concurrent.ExecutorService; import java.util.concurrent.Executors; import java.util.concurrent.Future; public class DealListDemo {     /**      * @param list     待处理集合      * @param nThreads 线程数量      * @return      */     public List<String> dealListMulti(List<String> list, int nThreads)     {         if (list == null || list.size() < 1)         {             throw new NullPointerException("the collection is null");         }         //计算每个分组存多个数据         int capactiy = list.size()%nThreads>0?list.size()/nThreads:list.size()/nThreads+1;         //进行数据分组(分任务)         List<List<String>> partions =  Lists.partition(list,capactiy);         CallableDemo callTask;         // 创建一个临时的局部线程池（固定大小）         ExecutorService executorService = Executors.newFixedThreadPool(nThreads);         // 保存结果         List<Future<List<String>>> futures = new ArrayList<Future<List<String>>>(partions.size());         // 分配任务         for (int i = 0; i < partions.size(); i++)         {             // 小任务             callTask = new CallableDemo(partions.get(i));             //同步执行多个小任务             futures.add(executorService.submit(callTask));         }         // 关闭线程池         executorService.shutdown();         // 合并         List<String> result = new ArrayList<String>();         for (Future<List<String>> future : futures)         {             try             {                 // 合并                 result.addAll(future.get());             } catch (InterruptedException e)             {                 e.printStackTrace();             } catch (ExecutionException e)             {                 e.printStackTrace();             }         }         System.out.println("主线程结束");         return result;     }     @Test     public void test()     {         final int size = 12; // 处理的集合大小         final int nThreads = 4; // 线程数         List<String> list = new ArrayList<String>(size);         for (int i = 0; i < size; i++)         {             list.add(i + "");         }         List<String> list2 = new DealListDemo().dealListMulti(list, nThreads);         System.out.println(list2);     } }

4.参考博客

https://www.dazhuanlan.com/2020/01/21/5e270d27d2fc6/