并发编程之Master-Worker模式

Master-Worker模式的核心思想是在于Master进程和Worker进程各自分担各自的任务,协同完成信息处理的模式
使用一个图例来简单描述一下:

如图所示Master-Worker的工作机制就是Master接收到了一个任务,对任务进行拆分,并且分配给各个Worker,让各个Worker之间各自运行各自的子任务,最后Worker们的返回结果交给Master进行汇总并且最后返回给任务的发起方.

Master-Worker是一种并行模式,Master是主要进程,Master中有维护着一个Worker进程队列.Master把一个大的而且复杂的业务拆分成若干小的业务,只要是互不影响的都可以分而治之相互独立.可以通过多线程或多进程甚至多机联合计算,把拆分后的小业务交给更多的CPU或机器处理,通过并发/并行的方式提高整体业务的运算速度,压榨系统性能来提高效率.

这样做的好处就是,在某些业务场景下,尤其是业务比较复杂而且数据量较大的情况下,例如财务账单结算和生成.一个账单需要有很多关联计算而且条件和参数众多的时候,如果把所有的业务都放在一个任务中,效率是比较低的,数据量大的情况下往往耗时巨大,少则几十分钟,夸张的有整整一宿.这个在圆通速递的罗汉财务系统中体现尤其严重..不信可以问问许双芳.

具体的实现细节是Master任务切分 –> 交给任务队列 –> Worker处理任务
Master可以创建Worker线程池,分发任务给Worker.也可以只负责任务的接收和拆分,单不负责Worker的管理,通过其他第三方工具来负责Worker的监控和调度,这样对于解耦方面比较有利.

OK 有了思想之后 剩下的就是通过代码来简单实现一下

先创建Master和Worker
Master:

package com.unsc.Master_Worker;

import java.util.HashMap;
import java.util.Map;
import java.util.Queue;
import java.util.concurrent.ConcurrentHashMap;
import java.util.concurrent.ConcurrentLinkedQueue;

/**
 * Created by DELL on 2017/12/25.
 * Master-Worker中的 Master 类
 * @author 犯罪嫌疑人卢某
 */
public class cMaster {
   
    /**
     * 创建一个ConcurrentLinkedQueue 用来盛放任务
     * ConcurrentLinkedQueue是一个线程安全的无界线程安全队列
     * 对元素的排序遵循先进先出的原则 获取元素时返回头部元素 添加元素则为尾部
     */
    private Queue<Object> workersQueue = new ConcurrentLinkedQueue<>();
    /**
     * 创建HashMap<K,V> 来存放Worker对象
     */
    private Map<String, Thread> workers = new HashMap<>();
    /**
     * 创建ConcurrentHashMap来存放Worker计算后的结果集
     */
    private Map<String, Object> resultMap = new ConcurrentHashMap<>();
    /**
     * Master类的有参构造
     * @param worker Worker对象
     *