分布式任务调度

分布式任务调度

分布式任务调度介绍

​ 很多时候，我们需要定时执行一些程序完成一些预定要完成的操作，如果手动处理，一旦任务量过大，就非常麻烦，所以用定时任务去操作是个非常不错的选项。

​ 现在的应用多数是分布式或者微服务，所以我们需要的是分布式任务调度，那么现在分布式任务调度流行的主要有elastic-job、xxl-job、quartz等，我们这里做一个对比：

feature	quartz	elastic-job	xxl-job	antares	opencron
依赖	mysql	jdk1.7+, zookeeper 3.4.6+ ,maven3.0.4+	mysql ,jdk1.7+ , maven3.0+	jdk 1.7+ , redis , zookeeper	jdk1.7+ , Tomcat8.0+
HA	多节点部署，通过竞争数据库锁来保证只有一个节点执行任务	通过zookeeper的注册与发现，可以动态的添加服务器。 支持水平扩容	集群部署	集群部署	—
任务分片	—	支持	支持	支持	—
文档完善	完善	完善	完善	文档略少	文档略少
管理界面	无	支持	支持	支持	支持
难易程度	简单	简单	简单	一般	一般
公司	OpenSymphony	当当网	个人	个人	个人
高级功能	—	弹性扩容，多种作业模式，失效转移，运行状态收集，多线程处理数据，幂等性，容错处理，spring命名空间支持	弹性扩容，分片广播，故障转移，Rolling实时日志，GLUE（支持在线编辑代码，免发布）,任务进度监控，任务依赖，数据加密，邮件报警，运行报表，国际化	任务分片， 失效转移，弹性扩容 ，	时间规则支持quartz和crontab ，kill任务， 现场执行，查询任务运行状态
使用企业	大众化产品，对分布式调度要求不高的公司大面积使用	36氪，当当网，国美，金柚网，联想，唯品会，亚信，平安，猪八戒	大众点评，运满满，优信二手车，拍拍贷	—	—

elastic-job讲解

官网：https://shardingsphere.apache.org/elasticjob/index_zh.html

静态任务案例

使用elastic-job很容易，我们接下来学习下elastic-job的使用，这里的案例我们先实现静态任务案例，静态任务案例也就是执行时间事先写好。

创建Zookeeper：

docker run -d --name zk \
--net seckill_network --ip 172.36.0.16 \
--restart=always \
-v /etc/localtime:/etc/localtime \
-p 3181:2181 zookeeper:3.4.14

案例实现步骤：

1.引入依赖包
2.配置zookeeper节点以及任务名称命名空间
3.实现自定义任务，需要实现SimpleJob接口

1)在seckill-goods中引入依赖

<!-- ElasticJobAutoConfiguration自动配置类作用-->
<dependency>
    <groupId>com.github.kuhn-he</groupId>
    <artifactId>elastic-job-lite-spring-boot-starter</artifactId>
    <version>2.1.5</version>
</dependency>

2)配置elastic-job

在bootstrap.yml中配置elastic-job，如下：

elaticjob:
  zookeeper:
    server-lists: zk-server:3181 #zookeeper的地址
    namespace: updatetask #定时任务命名空间

这里我们只展示了部分常用的参数，还有很多参数，但不一定常用，大家可以参考下面地址学习：

https://shardingsphere.apache.org/elasticjob/legacy/lite-2.x/02-guide/config-manual/

3)任务创建

创建com.seckill.goods.task.statictask.StaticJob，代码如下：

@Component
@ElasticSimpleJob(
        cron = "1/5 * * * * ?",   //任务执行周期
        jobName = "updatetask",   //和定时任务命名空间保持一致
        shardingTotalCount = 1    //分片
)
public class StaticJob implements SimpleJob {

    /**
     * 业务处理方法
     */
    @Override
    public void execute(ShardingContext shardingContext) {
        SimpleDateFormat simpleDateFormat = new SimpleDateFormat("HH:mm:ss");
        System.out.println("时间：" + simpleDateFormat.format(new Date()));
    }
}

讲解：

cron:定时表达式
jobName：这里和bootstrap.yml中的namespace保持一致
shardingTotalCount：分片数量

动态任务案例

​ 参考地址：https://github.com/LuoLiangDSGA/spring-learning/tree/master/boot-elasticjob

​ 动态任务案例主要是讲解程序在运行时，动态添加定时任务，这种场景应用非常广泛。使用elastic-job实现动态添加定时任务的实现有点复杂，我们接下来实际操作一次。

步骤：

1.配置初始化的zookeeper地址
2.自定义任务处理过程-实现SimpleJob
3.配置的定时任务命名空间(不一定会使用)
4.注册初始化数据
5.监听器->任务执行前后监听（可有可无）
6.动态添加定时任务实现

入门案例

1. 注册中心配置

bootstrap.yml 添加配置

# 动态定时任务
zkserver: zk-server:3181
zknamespace: zknamesp

2. 创建任务

创建任务类： com.seckill.goods.task.dynamic.DynamicJob

public class DynamicJob implements SimpleJob {

    /**
     * 实现对应的任务
     */
    @Override
    public void execute(ShardingContext shardingContext) {
        //获取请求的参数
        String id = shardingContext.getJobParameter();
        SimpleDateFormat simpleDateFormat = new SimpleDateFormat("HH:mm:ss");
        String jobName = shardingContext.getJobName();
        System.out.println(jobName + "时间：" + simpleDateFormat.format(new Date()) + ":::" + id);
    }
}

创建配置类配置注册中心信息，com.seckill.goods.task.dynamic.ElasticjobDynamicConfig:

@Configuration
public class ElasticjobDynamicConfig {

    @Value("${zkserver}")
    private String zkserver;
    @Value("${zknamespace}")
    private String zknamespace;

    @Autowired
    private ZookeeperRegistryCenter zookeeperRegistryCenter;

    /**
     * 1.配置初始化数据
     */
    @Bean
    public ZookeeperConfiguration zkConfig() {
        //1.Zookeeper地址
        //2.定时任务命名空间
        return new ZookeeperConfiguration(zkserver, zknamespace);
    }

    /**
     * 2.注册初始化数据
     */
    @Bean(initMethod = "init")
    public ZookeeperRegistryCenter registryCenter(ZookeeperConfiguration zkConfig) {
        return new ZookeeperRegistryCenter(zkConfig);
    }


    /**
     * 3.动态添加定时任务案例
     */
    public void addDynamicTask(String jobName, String cron, int shardingTotalCount, 
                               SimpleJob instance, String id) {
        //1.添加Elastjob-lite的任务作业器
        LiteJobConfiguration liteJobConfiguration = LiteJobConfiguration.newBuilder(
                new SimpleJobConfiguration(
                        JobCoreConfiguration.newBuilder(jobName, cron, shardingTotalCount)
                                .jobParameter(id)  //额外的参数
                                .build(),
                        instance.getClass().getName())
        ).overwrite(true).build();//overwrite(true)覆盖原来同名的任务

        //2.将Lite的任务作业器添加到Spring的任务启动器中，并初始化
        new SpringJobScheduler(instance, zookeeperRegistryCenter, liteJobConfiguration).init();
    }

}

3. 编写测试Controller

创建Controller用于测试，com.seckill.goods.controller.TaskController：

@RestController
@RequestMapping(value = "/task")
public class TaskController {

    @Autowired
    private ElasticjobDynamicConfig elasticjobDynamicConfig;

    /**
     * 动态定时任务案例测试
     */
    @GetMapping
    public Result task(String jobName, Long time, String id) {
        String cron = "0/" + time + " * * * * ?";

        elasticjobDynamicConfig.addDynamicTask(jobName, cron, 1, new DynamicJob(), id);
        return new Result(true, StatusCode.OK, "执行成功！");
    }
}

Date转Cron

在ElasticjobDynamicConfig中添加代码：

//cron表达式格式
private static final String cron = "ss mm HH dd MM ? yyyy";

/**
 * 时间转换成Cron表达式
 * "1/5 * * * * ?";
 */
public static String date2cron(Date date) {
    SimpleDateFormat simpleDateFormat = new SimpleDateFormat(cron);
    return simpleDateFormat.format(date);
}

修改TaskController为以下内容：

/**
 * 动态定时任务案例测试
 */
@GetMapping
public Result task(String jobName, Long time, String id) {
    // String cron = "1/" + time + " * * * * ?";

    //在当前时间往后延迟time毫秒执行
    String cron = ElasticjobDynamicConfig.date2cron(new Date(System.currentTimeMillis() + time));

    elasticjobDynamicConfig.addDynamicTask(jobName, cron, 1, new DynamicJob(), id);
    return new Result(true, StatusCode.OK, "执行成功！");
}