关闭

定时任务发展史(二)

1762人阅读 评论(0) 收藏 举报
分类:

第一代定时任务系统上线用了大概半年之后,就被我们厌倦了。于是就规划了第二代定时任务系统。

第二代定时任务系统

第二代调度系统主要解决的是,避免每次修改定时任务的执行时间都需要重新启动整个项目。另外也可支持单独重新调度单个定时任务。

我们做了一个请求入口,当更新了库表里面的数据之后,重新请求一下特定的url就会自动重新加载定时任务。

使用scheduler删除定时任务

public void reScheduler() throws Exception {
    // 取消现有的任务
    String[] jobNames = quartzUtil.getJobNames();
    if (null != jobNames && jobNames.length > 0) {
        for (String jobName : jobNames) {
            logger.info("----开始移除任务:" + jobName);
            quartzUtil.cancelJob(jobName);
            logger.info("----成功移除任务:" + jobName);
        }
    }
    logger.info("现有任务已全部取消");
    this.initScheduler();
}
public void cancelJob(String jobName) throws Exception {
    scheduler.pauseTrigger(jobName, Scheduler.DEFAULT_GROUP);
    scheduler.unscheduleJob(jobName, Scheduler.DEFAULT_GROUP);
    scheduler.deleteJob(jobName, Scheduler.DEFAULT_GROUP);
}

使用scheduler重新加载所有的定时任务。

job.setCronExpression(taskInfo.getSchedulerRule());
String jobName = taskInfo.getTaskNo() + "Job";
job.getJobDataMap().put(QuartzJob.OBJECT_ID,objectMethod);
job.setJobName(jobName);
logger.info("----开始部署任务:" + jobName);
quartzUtil.scheduleCronJob(job);
logger.info("----成功部署任务:" + jobName);
public void scheduleCronJob(QuartzJobEntity jobEntity) throws Exception {
    JobDetailBean jobDetail = createJobDetail(jobEntity);
    scheduler.addJob(jobDetail, true);
    CronTriggerBean trigger = new CronTriggerBean();
    trigger.setCronExpression(jobEntity.getCronExpression());
    trigger.setJobDetail(jobDetail);
    trigger.setName(jobEntity.getJobName());
    trigger.setJobName(jobDetail.getName());
    scheduler.scheduleJob(trigger);
}

如果只是重新调度某一个定时任务可以触发单独的调用

// 初始化某个加载定时任务
public void initScheduler(TaskEntity taskInfo) throws Exception {
    // 设置任务信息到quartz,并调度任务
    QuartzJobEntity job = new QuartzJobEntity();
    String objectName = taskInfo.getTaskNo()+"Task";
    String objectMethod = "executeTask";
    job.getJobDataMap().put(QuartzJob.OBJECT_NAME,objectName);
    job.getJobDataMap().put(QuartzJob.OBJECT_METHOD,objectMethod);
    // 单线程方式执行任务
    job.setJobClass(QuartzJob.class);
    job.setCronExpression(taskInfo.getSchedulerRule());
    String jobName = taskInfo.getTaskNo() + "Job";
    job.getJobDataMap().put(QuartzJob.OBJECT_ID,objectMethod);
    job.setJobName(jobName);
    logger.info("----开始部署任务:" + jobName);
    quartzUtil.scheduleCronJob(job);
    logger.info("----成功部署任务:" + jobName);
}

这样我们的第二代定时任务系统就完成了,第二代定时任务是在第一代定时任务的基础上改造的,增加了重新调度所有定时任务和单个定时任务。

第二代定时任务系统的缺点是:定时调度和业务代码耦合

第三代定时任务系统

第二代定时任务上线没有多久,我们就意识到有很多的子系统也需要定时任务,比如订单系统需要45分钟不支付的订单失效,监控系统需要定时扫描是否有业务报警,统计系统需要定时去统计一些数据,但是如果我们给每一个子系统都做一个定时任务的话,就不太合理,很分散。

于是计划开发一个统一的定时任务调度中心,负责整个平台中所有的定时任务的调度,另外规划了监控系统,来监控和分析每次定时任务的执行结果和执行时间等信息。为了更好的管理定时任务开发了简单的管理界面。如下:

根据上图可以看出,通过这个管理界面我们可以非常方便的去修改、启动、暂停定时任务。别的系统如果需要定时任务,可以随时在页面去添加,全部界面化操作,不需要重新启动项目等。

点击详情可以清晰的查看定时任务的上次执行情况

定时任务的支持的调度方式分有两种:http和mq,我们一般建议使用mq。

  • http :使用http一般适用于用时特别少的定时任务。或者接收请求之后立刻返回结果,重新启动另外一个线程去执行具体的业务,业务执行完成之后在通过http回调返回执行结果。

  • mq :使用mq的话,调度系统和业务系统的交互就完全异步来执行,调度系统定时触发后,发送MQ消息给业务系统,业务系统接收到消息开始执行业务,执行完毕之后,再发送MQ系统通知调度系统的执行结果。

主要核心代码

初始化加载

public void initScheduler(){
    List<TaskInformationsEntity> taskList = taskInformationsDao.getTaskList();
    Scheduler scheduler = schedulerBean.getScheduler();
    for(TaskInformationsEntity task : taskList){
        try {
            this.scheduler(task, scheduler);
        } catch (Exception e) {
            logger.error("定时:" + task.getTaskNo() + "启动失败");
        }
    }
}

遍历调度

public void scheduler(TaskInformationsEntity task,Scheduler scheduler){
    TriggerKey triggerKey = TriggerKey.triggerKey(task.getTaskNo(), Scheduler.DEFAULT_GROUP);
    JobDetail jobDetail = JobBuilder.newJob(QuartzJobFactory.class).withDescription(task.getTaskName()).withIdentity(task.getTaskNo(), Scheduler.DEFAULT_GROUP).build();
    jobDetail.getJobDataMap().put("targetObjectId", task.getTaskNo());
    jobDetail.getJobDataMap().put("executorNo", task.getExecutorNo());
    jobDetail.getJobDataMap().put("sendType", task.getSendType());
    jobDetail.getJobDataMap().put("url", task.getUrl());
    jobDetail.getJobDataMap().put("executeParamter", task.getExecuteParamter());
    CronScheduleBuilder scheduleBuilder = CronScheduleBuilder.cronSchedule(task.getSchedulerRule());
    CronTrigger trigger = TriggerBuilder.newTrigger().withIdentity(triggerKey).withSchedule(scheduleBuilder).build();
    try {
        scheduler.scheduleJob(jobDetail, trigger);
        logger.info("task "+task.getTaskNo()+" schedulerRule :"+task.getSchedulerRule()+" reload succeed");
    } catch (Exception e) {
        logger.error("scheduler--异常:",e);
        throw new RuntimeException();
    }
}

添加定时任务

public String addScheduler(String key){
    TaskInformationsEntity entity = taskInformationsDao.getTaskByTaskNo(key);
    if(null != entity){
        Scheduler scheduler = schedulerBean.getScheduler();
        try {
            scheduler.deleteJob(new JobKey(key));
            this.scheduler(entity, scheduler);
            entity.setFrozenStatus(TaskStatusEnum.UNFROZEN);
            entity.setUnfrozenTime(DateUtil.getLastModifyTime());
            entity.setLastModifyTime(DateUtil.getLastModifyTime());
            taskInformationsDao.updateById(entity);
            return "任务启动成功";
        } catch (Exception e) {
            logger.info("异常:",e);
            return "任务启动失败";
        }
    }else{
        return "该任务编号不存在";
    }
}

删除定时任务

public String delScheduler(String key){
    TaskInformationsEntity entity = taskInformationsDao.getTaskByTaskNo(key);
    if(null != entity && TaskStatusEnum.UNFROZEN == entity.getFrozenStatus()){
        Scheduler scheduler = schedulerBean.getScheduler();
        try {
            scheduler.deleteJob(new JobKey(key));
            entity.setFrozenStatus(TaskStatusEnum.FROZEN);
            entity.setFrozenTime(DateUtil.getLastModifyTime());
            entity.setLastModifyTime(DateUtil.getLastModifyTime());
            taskInformationsDao.updateById(entity);
            return "暂停任务成功";
        } catch (Exception e) {
            logger.error("异常:",e);
            return "暂停任务异常";
        }
    }else{
        return "该任务编号不存在";
    }
}

重新加载定时任务

public String resumeScheduler(String key){
    TaskInformationsEntity entity = taskInformationsDao.getTaskByTaskNo(key);
    if(null != entity){
        Scheduler scheduler = schedulerBean.getScheduler();
        try {
            scheduler.deleteJob(new JobKey(key));
            this.scheduler(entity, scheduler);
            return "重启成功";
        } catch (SchedulerException e) {
            logger.info("异常:",e);
            return "重启异常";
        }
    }else{
        return "该任务编号不存在";
    }
}

项目已经开源,详细的代码请在github上面查看。

zx-quartz

其实最后这版定时调度系统,还是有很多的缺陷,http模式没有进行完善,开源的代码中有部分内部依赖的jar还没有去掉。开放出来仅仅做为交流使用,后期有时间的话再去慢慢完善。也欢迎各网友多提提建议,一起加入完善。


喜欢我的文章,请关注我的公众号

0
0
查看评论

定时任务发展史(一)

定时任务是互联网行业里最常用的服务之一,本文给大家介绍定时任务在我司的发展历程。linux系统中一般使用crontab命令来实现,在Java世界里,使用最广泛的就是quartz了。我司使用quartz就已经升级了三代,每一代在上一代系统之上有所优化,写这篇文章一方面介绍一下quartz的使用,另一方...
  • ityouknow
  • ityouknow
  • 2017-07-05 09:25
  • 1889

带你玩转Netty(一)

netty 其实就是基于事件驱动,快速开发高并发,高可靠性的服务和客户端的一个开源框架
  • lenyusun
  • lenyusun
  • 2017-07-23 10:21
  • 254

趣味科普长图,论《人类通讯发展史》

倘若有一天,当人类+手机+AI,又会发生什么?
  • loveszx
  • loveszx
  • 2016-10-21 11:39
  • 755

二:Python发展史

1989年,为了打发圣诞节假期,Guido开始写Python语言的编译器。Python这个名字,来自Guido所挚爱的电视剧Monty Python’s Flying Circus。他希望这个新的叫做Python的语言,能符合他的理想:创造一种C和shell之间,功能全面,易学易用,可拓展的语言。1...
  • qq_39974988
  • qq_39974988
  • 2017-11-18 19:41
  • 24

以太网的发展史<二>

10BASE-T和结构化布线的历史 在80年代中期, PC革命浪潮已是势不可挡,1986年,个人计算机在应用程序的驱动下销售蒸蒸日上。Lotus l-2-3已成为 IBM PC AT的应用的有力对手--每一笔生意中都 少不了它。 Apple的 Macintosh在1986年起飞后,因其非平行图形用...
  • sstower
  • sstower
  • 2012-05-08 20:53
  • 3045

河海大学专业发展史·二

本片主要讲述了河海大学发展的一些概述,例如专业设置,教育方针等等。具体内容,且看图片详解。 关键字:河海大学,办学方针,专业发展概述,华东水利学院,河海大学校训 河海大学校训: 艰苦朴素,实事求是,严格要求,勇于探索。——严恺
  • a1456123a
  • a1456123a
  • 2017-05-31 10:35
  • 194

计算机系统-计算机硬件及系统发展史

纵观计算机发展史,可知晓,是需求带动了发展,从古至今,一点点剖析。
  • wangpeifeng669
  • wangpeifeng669
  • 2014-07-29 09:12
  • 951

内存发展史

内存 容量/指标 时期 出现原因 SIMM内存 30pin、256KB 1982年至今 软件程序和新一代80286硬件平台的出现 SIMM内存 72pin、512KB-2MB 1988-1990 PC迎来386和486时代,CPU向16bit发展 ED...
  • MJ813
  • MJ813
  • 2016-11-09 23:27
  • 353

回顾Windows 20年的发展历史

前传 盖茨和他的微软  时间追溯到1973年, 一个来自于西雅图的18岁孩子比尔•盖茨 (Bill Gates) 以优异的成绩进入了他梦寐以求的哈佛大学. 在这里, 酷爱数学和计算机的他开始了对软件技术的钻研, 写出 "伟大的软件" 是这个年轻人的目标和理想. 也就是在这期间, ...
  • WAST
  • WAST
  • 2007-01-09 10:01
  • 1691

AI发展简史

AI发展简史(1)学号:16340156 (2)[本人学院]http://sdcs.sysu.edu.cn/目录 1:人工智能的漫长萌芽期(17~20世纪50年代); 2:人工智能的诞生(20世纪40~50年代); 3:人工智能的黄金时代(20世纪50~70年代); 4:人工智能的冬天(1...
  • LXsysu16
  • LXsysu16
  • 2016-10-09 09:33
  • 1020
    微信公众号:纯洁的微笑
          分享技术与生活,欢迎大家关注.


    链接:


       关于我


       文章索引


       交流群:144304696


       获取十套精选1000G架构师资料


    个人资料
    • 访问:299987次
    • 积分:4094
    • 等级:
    • 排名:第8980名
    • 原创:75篇
    • 转载:2篇
    • 译文:0篇
    • 评论:423条
    博客专栏
    最新评论
    站长统计