分布式调度框架调研

一、Java主流三大定时器技术选型

          选型时原则：少服务器 后期维护方便 增加任务省事而且快捷 不涉及启停服务

    1、Quartz  

    优点：支持集群部署

              缺点：没有自带的管理界面；调度逻辑和执行任务耦合在一起；维护需要重启服务

    总结：针对目前项目情况，利弊相同

  2、xxl-job
    

              优点：支持集群部署；提供运维界面维护成本小；自带错误预警；相对elastic-job来说不需要额外的组件（zookeeper）；支持调度策略；支持分片；文档齐全

    缺点：相对Quartz来说需要多部署调度中心

    总结：针对目前项目情况，利大于弊

  3、elastic-job
    

              优点：支持集群部署；维护成本小

    缺点：elastic-job 需要 zookeeper，zookeeper 集群高可用至少需要三台服务器

    总结：针对目前项目情况，弊大于利

  小结：综合选型原则及三个定时任务框架的优缺点和目前项目的状况，建议选用xxl-job。

二、XXL-JOB的一些特性：

  1、执行失败可以查看日志

  2、支持邮件报警

  3、路由策略支持轮询等策略，可以减轻执行服务器的压力

  4、轮询时间等参数修改后立即生效

  5、执行器有问题或新增，快速识别

  6、调度中心高可用，调度中心可以集群部署（集群部署的机器时钟必须同步），如果调度中心没有做负载在执行器的配置中需要配多个地址，如果调度中心配置负载则执行器配置负载地址即可

  7、执行器高可用（执行器可以集群部署）

三、XXL-JOB与项目结合

  以 springboot 框架为例：

  1、添加Maven依赖：

<!--定时器xxljob-->
<dependency>
    <groupId>com.xuxueli</groupId>
    <artifactId>xxl-job-core</artifactId>
    <version>2.0.1</version>
</dependency>        

  2、执行器配置文件：

  在 resources 文件夹下新建配置文件 application.properties

### xxl-job admin address list, such as "http://address" or "http://address01,http://address02"
xxl.job.admin.addresses= 192.168.22.67:8080/xxl-job-admin/
 
### xxl-job executor address
xxl.job.executor.appname=xxl-job-executor-sample
xxl.job.executor.ip=192.168.21.88
xxl.job.executor.port=9977
 
### xxl-job, access token
xxl.job.accessToken=/data/applogs/xxl-job/jobhandler/
 
### xxl-job log path
xxl.job.executor.logpath=/data/applogs/xxl-job/jobhandler
### xxl-job log retention days
xxl.job.executor.logretentiondays=-1
  XXL-JOB执行器的相关配置项的意义，如下所示：

xxl.job.admin.addresses
调度中心的部署地址。若调度中心采用集群部署，存在多个地址，则用逗号分隔。执行器将会使用该地址进行”执行器心跳注册”和”任务结果回调”。

xxl.job.executor.appname
执行器的应用名称，它是执行器心跳注册的分组依据。

xxl.job.executor.ip
执行器的IP地址，用于”调度中心请求并触发任务”和”执行器注册”。执行器IP默认为空，表示自动获取IP。多网卡时可手动设置指定IP，手动设置IP时将会绑定Host。

xxl.job.executor.port
执行器的端口号，默认值为9999。单机部署多个执行器时，注意要配置不同的执行器端口。

xxl.job.accessToken
执行器的通信令牌，非空时启用。

xxl.job.executor.logpath
执行器输出的日志文件的存储路径，需要拥有该路径的读写权限。

xxl.job.executor.logretentiondays
执行器日志文件的定期清理功能，指定日志保存天数，日志文件过期自动删除。限制至少保存3天，否则功能不生效。

  注意，XXL-JOB执行器的配置文件也可以交给Disconf进行托管。

  

3、执行器配置类

新建一个执行器配置类，用来读取执行器的配置信息。在config文件夹下新建一个名为 XxlJobConfig 的类，内容如下：

package com.tfjybj.physical.config;
 
import com.xxl.job.core.executor.XxlJobExecutor;
import com.xxl.job.core.executor.impl.XxlJobSpringExecutor;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.ComponentScan;
import org.springframework.context.annotation.Configuration;
 
 
/**
 * xxl-job config
 *
 */
@Configuration
@ComponentScan(basePackages = "com.tfjybj.physical.provider.job")
public class XxlJobConfig {
    private Logger logger = LoggerFactory.getLogger(XxlJobConfig.class);
 
    @Value("${xxl.job.admin.addresses}")
    private String adminAddresses;
 
    @Value("${xxl.job.executor.appname}")
    private String appName;
 
    @Value("${xxl.job.executor.ip}")
    private String ip;
 
    @Value("${xxl.job.executor.port}")
    private int port;
 
    @Value("${xxl.job.accessToken}")
    private String accessToken;
 
    @Value("${xxl.job.executor.logpath}")
    private String logPath;
 
    @Value("${xxl.job.executor.logretentiondays}")
    private int logRetentionDays;
 
 
    @Bean(initMethod = "start", destroyMethod = "destroy")
    public XxlJobSpringExecutor xxlJobExecutor() {
        logger.info(">>>>>>>>>>> xxl-job config init.");
        XxlJobSpringExecutor  xxlJobSpringExecutor  = new XxlJobSpringExecutor ();
        xxlJobSpringExecutor .setAdminAddresses(adminAddresses);
        xxlJobSpringExecutor .setAppName(appName);
        xxlJobSpringExecutor .setIp(ip);
        xxlJobSpringExecutor .setPort(port);
        xxlJobSpringExecutor .setAccessToken(accessToken);
        xxlJobSpringExecutor .setLogPath(logPath);
        xxlJobSpringExecutor .setLogRetentionDays(logRetentionDays);
 
        return xxlJobSpringExecutor ;
    }
 
}

  XxlJobConfig 配置类有两点需要注意：

组件扫描使用 @ComponentScan 注解，扫描 com.example.demo.jobhandler 包，将其中的任务处理器加载至 Spring 容器。

获取执行器实例 xxlJobExecutor() 方法会实例化一个 XXL-JOB 执行器对象，执行器初始化时调用它的 start() 方法，执行器销毁时调用它的 destroy() 方法。

  4、建立任务执行器：

  在 provider 下的 job 下新建 job 测试文件：JobTest.java

package com.tfjybj.physical.provider.job;
 
 
import com.xxl.job.core.biz.model.ReturnT;
import com.xxl.job.core.handler.IJobHandler;
import com.xxl.job.core.handler.annotation.JobHandler;
import lombok.extern.slf4j.Slf4j;
import org.springframework.stereotype.Component;
 
import java.io.Serializable;
 
@JobHandler(value = "JobTest")
@Component
@Slf4j
public class JobTest extends IJobHandler implements Serializable {
    @Override
    public ReturnT<String> execute(String s) throws Exception {
        try {
            System.out.println("测试~~~");
            /*测试数据*/
            return SUCCESS;
        } catch (Exception e){
            e.printStackTrace();
            return FAIL;
        }
    }
}

四、执行器（任务调度中心）：

  访问地址： http://192.168.1.101:8080/xxl-job-admin/jobinfo，登录 XXL-JOB 调度中心

  1、任务管理：

               图1
  新增任务，更新任务：

  2、调度日志：

              图2
  3、执行器管理：

             图3
  新增执行器：

               图4

注意，AppName的取值应该和示例工程的 application.properties 文件中的 xxl.job.executor.appname 字段的取值相同，注册方式应该选择自动注册。