自己动手写Master-Worker例子

自己动手写Master-Worker例子

Master-worker简介

Master-worker是一种可以把大任务分解，并行处理的一种设计模式。举个简单例子说明：有一个任务，可能要从几个地方取数据，然后再把这些数据汇总起来处理。如果按平时的串行方式，先取一个再取另一个，这样总的取数时间就是3个加起来的时间；如果我开几个线程，3个取数任务分别同时进行，从不同地方取数，那取数的时间就是3个中最久的那个。这样的开多个线程同时执行子任务，然后再回到主线程去汇总处理的方式就是master-worker。

代码演示

下面模拟写一个master-worker例子。
场景是：我有1000个任务，每个任务都需要执行100ms，执行完就返回一个字符串。最后我要把这1000个字符串拼起来。
思路：Master把1000个任务放到队列里，然后开4个线程并发去取任务执行，每执行完一个就把结果放到结果集合里，直到执行完所有任务为止。在执行的过程中，调用Master的获取结果方法是取不到结果的，会一直阻塞，要执行完才能返回结果。

这个例子总共有4个类：

1. Master：主线程，用于接收任务，汇总结果。
2. Worker：实现了Runnable接口，用于从任务队列里取出任务执行。
3. MyTask：任务类，用于提供具体要做的工作。正式项目中我觉得最好用接口来代替，这样才能执行不同的工作。
4. TestMasterWorker：测试验证类，提供main方法。

package top.usjava.learn.javaarchitecturelearn.design.masterworker;

import java.util.HashMap;
import java.util.Map;
import java.util.concurrent.*;

/**
 * Master线程
 *
 * @author Owen
 * create time:2018/9/26 12:07
 */
public class Master {
    

    /**
     * 装载任务队列的容器
     */
    BlockingQueue<MyTask> taskQueue = new LinkedBlockingQueue<>();

    /**
     * 装载Worker线程的容器
     */
    Map<String, Thread> workerMap = new HashMap<>();

    /**
     * 结果集
     */
    ConcurrentHashMap resultMap = new ConcurrentHashMap();

    /**
     * worker停止通知标记，用于所有worker停止后，通知master线程
     */
    CountDownLatch countDownLatch;

    /**
     * 构造方法，在初始化Master时，就同时把worker初始化，并设置countDownLatch作为停止标记
     */
    public Master(Worker worker, int workerAmount) {
    
        countDownLatch = new CountDownLatch(workerAmount);
        worker.setTaskQueue(taskQueue);
        worker.setResultMap(resultMap);
        worker.setCountDownLatch(countDownLatch);
        for (int i = 0; i < workerAmount; i++) {
    
            workerMap.put(Integer.toString(i), new Thread(worker));
        }
    }