SchedulerX分布式定时任务MapReduce模型

Map模型

基于MapJobProcessor,调用Map方法,即可实现大数据分布式跑批的能力。

注意事项

  • SchedulerX不保证子任务一定执行一次,在特殊条件下会failover,可能会导致子任务重复执行,需要业务方自己实现幂等。
  • SchedulerX使用的是Hessian序列化框架,目前不支持LocalDateTime和BigDecimal。子任务中如果有如上两个数据结构,请替换其他的数据结构(特别是BigDecimal,序列化不会报错,反序列化会变成0)。

接口
在这里插入图片描述

执行方式

  • 并行计算:最多支持300任务,有子任务列表。
  • 内存网格:基于内存计算,最多支持50,000以下子任务,速度快。
  • 网格计算:基于文件计算,最多支持1,000,000子任务。

高级配置
任务管理高级配置参数说明如下:
在这里插入图片描述
发送50条消息的Demo示例(适用于Map模型)

@Component
public class TestMapJobProcessor extends MapJobProcessor {

    @Override
    public ProcessResult process(JobContext context) throws Exception {
        String taskName = context.getTaskName();
        int dispatchNum = 50;
        if (isRootTask(context)) {
            System.out.println("start root task");
            List<String> msgList = Lists.newArrayList();
            for (int i = 0; i <= dispatchNum; i++) {
                msgList.add("msg_" + i);
            }
            return map(msgList, "Level1Dispatch");
        } else if (t
  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值