Master-Worker模式的核心思想是在于Master进程和Worker进程各自分担各自的任务,协同完成信息处理的模式
使用一个图例来简单描述一下:
如图所示Master-Worker的工作机制就是Master接收到了一个任务,对任务进行拆分,并且分配给各个Worker,让各个Worker之间各自运行各自的子任务,最后Worker们的返回结果交给Master进行汇总并且最后返回给任务的发起方.
Master-Worker是一种并行模式,Master是主要进程,Master中有维护着一个Worker进程队列.Master把一个大的而且复杂的业务拆分成若干小的业务,只要是互不影响的都可以分而治之相互独立.可以通过多线程或多进程甚至多机联合计算,把拆分后的小业务交给更多的CPU或机器处理,通过并发/并行的方式提高整体业务的运算速度,压榨系统性能来提高效率.
这样做的好处就是,在某些业务场景下,尤其是业务比较复杂而且数据量较大的情况下,例如财务账单结算和生成.一个账单需要有很多关联计算而且条件和参数众多的时候,如果把所有的业务都放在一个任务中,效率是比较低的,数据量大的情况下往往耗时巨大,少则几十分钟,夸张的有整整一宿.这个在圆通速递的罗汉财务系统中体现尤其严重..不信可以问问许双芳.
具体的实现细节是Master任务切分 –> 交给任务队列 –> Worker处理任务
Master可以创建Worker线程池,分发任务给Worker.也可以只负责任务的接收和拆分,单不负责Worker的管理,通过其他第三方工具来负责Worker的监控和调度,这样对于解耦方面比较有利.
OK 有了思想之后 剩下的就是通过代码来简单实现一下
先创建Master和Worker
Master:
package com.unsc.Master_Worker;
import java.util.HashMap;
import java.util.Map;
import java.util.Queue;
import java.util.concurrent.ConcurrentHashMap;
import java.util.concurrent.ConcurrentLinkedQueue;
/**
* Created by DELL on 2017/12/25.
* Master-Worker中的 Master 类
* @author 犯罪嫌疑人卢某
*/
public class cMaster {
/**
* 创建一个ConcurrentLinkedQueue 用来盛放任务
* ConcurrentLinkedQueue是一个线程安全的无界线程安全队列
* 对元素的排序遵循先进先出的原则 获取元素时返回头部元素 添加元素则为尾部
*/
private Queue<Object> workersQueue = new ConcurrentLinkedQueue<>();
/**
* 创建HashMap<K,V> 来存放Worker对象
*/
private Map<String, Thread> workers = new HashMap<>();
/**
* 创建ConcurrentHashMap来存放Worker计算后的结果集
*/
private Map<String, Object> resultMap = new ConcurrentHashMap<>();
/**
* Master类的有参构造
* @param worker Worker对象
*