任务调度Schedulerx2.0分布式计算之MapReduce模型

简介

阿里巴巴任务调度Schedulerx2.0自研轻量级分布式模型MapReduce，可以进行大数据的实时/离线跑批。通过一个map方法就能将海量数据分布式到多台机器上执行，通过process方法处理子任务的业务，最后通过reduce方法可以获取所有子任务执行的状态和结果。常见场景，比如

1. 电商领域：通过MapReduce模型不停轮询订单，进行订单确认。如果有订单超时未支付，则关闭订单。如果订单支付完成，并且各参数没问题，则更新订单状态为已完成。
2. 物流领域：通过MapReduce模型不停扫描入仓的订单，通过订单的收件地址，进行拣货出库。
3. IoT领域：通过MapReduce模型不停轮询所有设备的状态，如果发现有设备有故障，则汇报给主机，更新设备状态。

同时，MapReduce模型的任务，也可以结合工作流一起使用，通过reduce方法可以返回这次跑批的结果，进行工作流上下游数据传递。

对比大数据跑批的优势

速度快

大数据跑批，需要配合导入导出工具，先将传统数据库中的数据导入到大数据平台中，跑批结束后，再把结果导回数据库中，导入导出增加了很多时间开销。同时大部分大数据跑批（比如Hadoop的MapReduce模型）过程也比较慢，涉及到数据的拆分和中间结果的数据传输，比较耗时间。不适合用来做实时跑批。

Schedulerx2.0的轻量级MapReduce模型，可以直接操作用户的原始数据库数据，不涉及到数据的导入导出和中间结果的数据传输，可以作为实时业务的跑批。

数据安全

大数据跑批，需要首先将数据上传到大数据平台中，如果使用云厂商的大数据平台，用户往往担心数据安全问题。

Schedulerx2.0的跑批，不需要上传数据，计算节点也是用户自己的，没有任何安全问题。

成本低

大数据跑批，需要将数据上传到大数据平台，跑批过程消耗大数据的计算资源，需要为存储和计算成本买单。

Schedulerx2.0的跑批，不需要任何额外的存储和计算成本，只需要应用依赖一个jar包，即可以将应用自己的机器自建成一个分布式计算引擎，进行MapReduce模型的跑批。

编程简单

大数据跑批，需要学习大数据的知识，学习成本比较高。如果涉及到非常复杂的业务逻辑（比如需要比较多的条件判断和循环），无法通过大数据跑批解决。虽然大数据系统一般都有提供UDF，但是使用起来还是比较麻烦。

Schedulerx2.0的跑批，直接编写业务代码，兼容Spring原生语法，可以直接调用已经封装好的各种service代码，开发迅速，可读性高。

接口说明

使用MapReduce模型，只需要继承com.alibaba.schedulerx.worker.processor.MapReduceJobProcessor，该抽象类有如下接口须实现：

接口	是否必选	描述
public ProcessResult map(List<? extends Object> taskList, String taskName)	是	通过map方法分发子任务列表
public ProcessResult process(JobContext context) throws Exception	是	执行子任务的具体业务实现，通过JobContext可以拿到子任务的信息
public ProcessResult