分布式定时任务-xxljob

• 分布式定时任务的应用场景

1. 分布式集群的情况下，怎么保证定时任务不被重复执行

• 分布式定时任务解决方案

1. 使用zookeeper实现分布式锁 缺点(需要创建临时节点、和事件通知不易于扩展)
2. 使用配置文件做一个开关  缺点发布后，需要重启
3. 数据库唯一约束，缺点效率低
4. 使用分布式任务调度平台, ----XXLJOB

• XXLJOB介绍 
   
   底层使用quartz框架进行包装实现。

1. 简单：支持通过Web页面对任务进行CRUD操作，操作简单，一分钟上手；
2. 动态：支持动态修改任务状态、启动/停止任务，以及终止运行中任务，即时生效；
3. 调度中心HA（中心式）：调度采用中心式设计，“调度中心”自研调度组件并支持集群部署，可保证调度中心HA；
4. 执行器HA（分布式）：任务分布式执行，任务"执行器"支持集群部署，可保证任务执行HA；
5. 注册中心: 执行器会周期性自动注册任务, 调度中心将会自动发现注册的任务并触发执行。同时，也支持手动录入执行器地址；
6. 弹性扩容缩容：一旦有新执行器机器上线或者下线，下次调度时将会重新分配任务；
7. 路由策略：执行器集群部署时提供丰富的路由策略，包括：第一个、最后一个、轮询、随机、一致性HASH、最不经常使用、最近最久未使用、故障转移、忙碌转移等；
8. 故障转移：任务路由策略选择"故障转移"情况下，如果执行器集群中某一台机器故障，将会自动Failover切换到一台正常的执行器发送调度请求。
9. 阻塞处理策略：调度过于密集执行器来不及处理时的处理策略，策略包括：单机串行（默认）、丢弃后续调度、覆盖之前调度；
10. 任务超时控制：支持自定义任务超时时间，任务运行超时将会主动中断任务；
11. 任务失败重试：支持自定义任务失败重试次数，当任务失败时将会按照预设的失败重试次数主动进行重试；其中分片任务支持分片粒度的失败重试；
12. 任务失败告警；默认提供邮件方式失败告警，同时预留扩展接口，可方便的扩展短信、钉钉等告警方式；
13. 分片广播任务：执行器集群部署时，任务路由策略选择"分片广播"情况下，一次任务调度将会广播触发集群中所有执行器执行一次任务，可根据分片参数开发分片任务；
14. 动态分片：分片广播任务以执行器为维度进行分片，支持动态扩容执行器集群从而动态增加分片数量，协同进行业务处理；在进行大数据量业务操作时可显著提升任务处理能力和速度。
15. 事件触发：除了"Cron方式"和"任务依赖方式"触发任务执行之外，支持基于事件的触发任务方式。调度中心提供触发任务单次执行的API服务，可根据业务事件灵活触发。
16. 任务进度监控：支持实时监控任务进度；
17. Rolling实时日志：支持在线查看调度结果，并且支持以Rolling方式实时查看执行器输出的完整的执行日志；
18. GLUE：提供Web IDE，支持在线开发任务逻辑代码，动态发布，实时编译生效，省略部署上线的过程。支持30个版本的历史版本回溯。
19. 脚本任务：支持以GLUE模式开发和运行脚本任务，包括Shell、Python、NodeJS、PHP、PowerShell等类型脚本;
20. 命令行任务：原生提供通用命令行任务Handler（Bean任务，"CommandJobHandler"）；业务方只需要提供命令行即可；
21. 任务依赖：支持配置子任务依赖，当父任务执行结束且执行成功后将会主动触发一次子任务的执行, 多个子任务用逗号分隔；
22. 一致性：“调度中心”通过DB锁保证集群分布式调度的一致性, 一次任务调度只会触发一次执行；
23. 自定义任务参数：支持在线配置调度任务入参，即时生效；
24. 调度线程池：调度系统多线程触发调度运行，确保调度精确执行，不被堵塞；
25. 数据加密：调度中心和执行器之间的通讯进行数据加密，提升调度信息安全性；
26. 邮件报警：任务失败时支持邮件报警，支持配置多邮件地址群发报警邮件；
27. 推送maven中央仓库: 将会把最新稳定版推送到maven中央仓库, 方便用户接入和使用;
28. 运行报表：支持实时查看运行数据，如任务数量、调度次数、执行器数量等；以及调度报表，如调度日期分布图，调度成功分布图等；
29. 全异步：任务调度流程全异步化设计实现，如异步调度、异步运行、异步回调等，有效对密集调度进行流量削峰，理论上支持任意时长任务的运行；
30. 跨平台：原生提供通用HTTP任务Handler（Bean任务，"HttpJobHandler"）；业务方只需要提供HTTP链接即可，不限制语言、平台；
31. 国际化：调度中心支持国际化设置，提供中文、英文两种可选语言，默认为中文；
32. 容器化：提供官方docker镜像，并实时更新推送dockerhub，进一步实现产品开箱即用；
33. 线程池隔离：调度线程池进行隔离拆分，慢任务自动降级进入"Slow"线程池，避免耗尽调度线程，提高系统稳定性；
34. 用户管理：支持在线管理系统用户，存在管理员、普通用户两种角色；
35. 权限控制：执行器维度进行权限控制，管理员拥有全量权限，普通用户需要分配执行器权限后才允许相关操作；
36. 文档地址
    gitub:   https://github.com/xuxueli/xxl-job   
    中文文档： http://www.xuxueli.com/xxl-job/#/

• 搭建xxl-job-admin任务调度平台环境

1. 下载xxl-job-master：https://github.com/xuxueli/xxl-job，导入到项目中 
    
2. 将doc/dp目录下tables_xxl_job.sql导入到数据库中，并执行。
    
    
    
     执行结果如下: 
    
3. 修改xxl-job-admin项目中application.properties中数据库的配置
     
    application.properties配置了项目的端口号、项目路径、发送邮箱
    
    
4. 启动xxl-job-admin项目中XxlJobAdminApplication.java类
   测试地址：http://127.0.0.1:8080/xxl-job-admin/
    
   默认账号：admin   密码: 123456   可在数据库或配置文件查看
5. 登录

• 创建定时任务

1. 创建分发器
   登录xxl-job-admin项目地址，点击“执行器管理”
    
     
    点击"新增执行器":  ---执行定时任务的机器
    
     AppName: 定时任务名称，自定义
     名称： 自定义
     排序：多个job的执行循序，默认1
     注册方式： 这里选择手动注册   // 如果选择自动注册，则项目地址无需填写，项目在启动时自动注册进去
     手动注册需要填写你的执行器的服务地址和端口号--端口号不是你的服务端口号，而是执行器调用你项目的端口号，可以自定义，不要冲突了就行

    这里的AppName、执行器的服务地址和端口号都是要在你的定时任务的项目里要配置的，要一样
    

2. 创建一个定制任务 
    xxl-job给我们实现了几个不同的定时任务案例，这里我们用给的sprinboot来实现一个，如下图所示：
    
3. 修改xxl-job-executor-sample-springboot项目中application.properties的配置 
    

   # web port
   server.port=8081
   
   # log config
   logging.config=classpath:logback.xml
   
   
   ### xxl-job admin address list, such as "http://address" or "http://address01,http://address02"
   ### 任务调度平台的管理地址
   xxl.job.admin.addresses=http://127.0.0.1:8080/xxl-job-admin
   
   ### xxl-job executor address
   ### admin平台添加的执行器地址
   xxl.job.executor.appname=userJob
   xxl.job.executor.ip=192.168.1xx.x
   xxl.job.executor.port=9998
   
   ### xxl-job, access token
   xxl.job.accessToken=
   
   ### xxl-job log path
   xxl.job.executor.logpath=/data/applogs/xxl-job/jobhandler
   ### xxl-job log retention days
   xxl.job.executor.logretentiondays=-1

   配置说明：
   xxl.job.executor.appname=userJob
   xxl.job.executor.ip=192.168.1xx.x
   xxl.job.executor.port=9998 这个配置的就是刚刚新增的执行器的信息
4. 创建UserJobHandler.java类
    

   import com.xxl.job.core.biz.model.ReturnT;
   import com.xxl.job.core.handler.IJobHandler;
   import com.xxl.job.core.handler.annotation.JobHandler;
   import org.springframework.beans.factory.annotation.Value;
   import org.springframework.stereotype.Component;
   
   /**
    * Create by wangxb
    * 2019-07-07 17:57
    */
   @JobHandler("userJobHandler")  // 对应任务管理平台的任务jobHandler配置
   @Component
   public class UserJobHandler extends IJobHandler {
   
       @Value("${xxl.job.executor.port}")
       private String port;
       @Override
       public ReturnT<String> execute(String param) throws Exception {
           System.out.println("开启执行定时任务......."+port+"--"+System.currentTimeMillis());
           return ReturnT.SUCCESS;
       }
   }}
   }

   
    
5. 登录xxl-job-admin，任务管理-->新增， 配置如下

   
   执行器：  选择Job的运行服务器
   路由策略：如果选择"第一个"，表示在集群情况下，只让第一个执行
   运行模式：默认BEAN模式
   cron:  cron表达式
   jobHandler:对应项目代码中@JobHandler("value")的value
   失败重试次数： 
   报警邮件：
   任务参数： 通过xxljob传给定时器的参数

6. 启动服务调度平台
   启动 xxl-job-executor-sample-springboot定时任务
   在管理平台：启动定时器 
7. 测试

• 集群搭建

1. 修改xxl-job-executor-sample-springboot的配置，在application.preperties配置 
    这里修改了server.port=8083和xxl.job.executor.port=9999 
    在次启动，等于我们同时启动了2个分别为8081和8083的定时任务的项目

   # web port
   server.port=8083
   
   # log config
   logging.config=classpath:logback.xml
   
   
   ### xxl-job admin address list, such as "http://address" or "http://address01,http://address02"
   ### 任务调度平台的管理地址
   xxl.job.admin.addresses=http://127.0.0.1:8080/xxl-job-admin
   
   ### xxl-job executor address
   ### admin平台添加的执行器地址
   xxl.job.executor.appname=test01
   xxl.job.executor.ip=192.168.1xx.x
   xxl.job.executor.port=9999
   
   ### xxl-job, access token
   xxl.job.accessToken=
   
   ### xxl-job log path
   xxl.job.executor.logpath=/data/applogs/xxl-job/jobhandler
   ### xxl-job log retention days
   xxl.job.executor.logretentiondays=-1
   

    

2. 修改执行器配置： 
    
     8081：项目的执行器为192.168.1xx.x:9998
     8083:   项目的执行器为192.168.1xx.x:9999
    多个是以逗号隔开
3. 修改任务管理的配置
    
    
    这里路由策略，设置为轮询，这里也可以配置容错机制.......
4. 配置完成，启动测试 
    8081
     
    
    8083
    

 
 
 

• 服务器宕机策略
   
   
   如图所示，如果所有执行定时任务服务器1、2、3全部宕机，xxl-job就会记录错误信息或发送邮件通知，当项目启动时再次触发执行该定时任务。
   
   
   
• 采用分片广播实现任务的平均分配
   
  产生场景:   
       如果有一个定时群发短信功能，如果一台服务一个小时只能发送30万用户数据，如果随着用户不断增加，达到了百万或千万级别，如果还是使用一台服务器去执行这个定时任务，效率就会极低。这时就可以采用分片广播的形式让所有服务器都去执行。
  
   
   
    分布广播，xxl-job给我们提供的多种路由策略，其中就有分片广播，意思是: 所有广播到的job一起执行 。
   
  采用分片集群方式，每个任务服务器获取对应的分片序号，在执行任务时，根据序号获取数据库中对应的数据量来处理。且支持动态扩容。