基础环境看前面的文档https://blog.csdn.net/qq_45745830/article/details/121624158?spm=1001.2014.3001.5502https://blog.csdn.net/qq_45745830/article/details/121624158?spm=1001.2014.3001.5502
https://blog.csdn.net/qq_45745830/article/details/121624158?spm=1001.2014.3001.5502
分布式任务调度介绍
很多时候,我们需要定时执行一些程序完成一些预定要完成的操作,如果手动处理,一旦任务量过大,就非常麻烦,所以用定时任务去操作是个非常不错的选项。
现在的应用多数是分布式或者微服务,所以我们需要的是分布式任务调度,那么现在分布式任务调度流行的主要有elastic-job、xxl-job、quartz等,我们这里做一个对比:
feature | quartz | elastic-job | xxl-job | antares | opencron |
---|---|---|---|---|---|
依赖 | mysql | jdk1.7+, zookeeper 3.4.6+ ,maven3.0.4+ | mysql ,jdk1.7+ , maven3.0+ | jdk 1.7+ , redis , zookeeper | jdk1.7+ , Tomcat8.0+ |
HA | 多节点部署,通过竞争数据库锁来保证只有一个节点执行任务 | 通过zookeeper的注册与发现,可以动态的添加服务器。 支持水平扩容 | 集群部署 | 集群部署 | — |
任务分片 | — | 支持 | 支持 | 支持 | — |
文档完善 | 完善 | 完善 | 完善 | 文档略少 | 文档略少 |
管理界面 | 无 | 支持 | 支持 | 支持 | 支持 |
难易程度 | 简单 | 简单 | 简单 | 一般 | 一般 |
公司 | OpenSymphony | 当当网 | 个人 | 个人 | 个人 |
高级功能 | — | 弹性扩容,多种作业模式,失效转移,运行状态收集,多线程处理数据,幂等性,容错处理,spring命名空间支持 | 弹性扩容,分片广播,故障转移,Rolling实时日志,GLUE(支持在线编辑代码,免发布),任务进度监控,任务依赖,数据加密,邮件报警,运行报表,国际化 | 任务分片, 失效转移,弹性扩容 , | 时间规则支持quartz和crontab ,kill任务, 现场执行,查询任务运行状态 |
使用企业 | 大众化产品,对分布式调度要求不高的公司大面积使用 | 36氪,当当网,国美,金柚网,联想,唯品会,亚信,平安,猪八戒 | 大众点评,运满满,优信二手车,拍拍贷 | — | — |
静态任务案例
使用elastic-job很容易,我们接下来学习下elastic-job的使用,这里的案例我们先实现静态任务案例,静态任务案例也就是执行时间事先写好。
创建Zookeeper:
docker run -d --name zk \
--net seckill_network --ip 172.36.0.16 \
--restart=always \
-v /etc/localtime:/etc/localtime \
-p 3181:2181 zookeeper:3.4.14
案例实现步骤:
1.引入依赖包 2.配置zookeeper节点以及任务名称命名空间 3.实现自定义任务,需要实现SimpleJob接口
1)在seckill-goods
中引入依赖
<!-- ElasticJobAutoConfiguration自动配置类作用-->
<dependency>
<groupId>com.github.kuhn-he</groupId>
<artifactId>elastic-job-lite-spring-boot-starter</artifactId>
<version>2.1.5</version>
</dependency>
2)配置elastic-job
在bootstrap.yml
中配置elastic-job
,如下:
server:
port: 28889
spring:
main: #不加有报错
allow-circular-references: true
allow-bean-definition-overriding: true
application:
name: job-springboot
datasource: #连接数据库
driver-class-name: com.mysql.jdbc.Driver
url: jdbc:mysql://localhost:3306/elastic_job_demo?useUnicode=true&characterEncoding=utf8&serverTimezone=UTC
username: root
password: root
zkserver: zk-server:3181 #动态任务使用
zknamespace: zknamesp
elaticjob: #静态任务使用
zookeeper:
server-lists: zk-server:3181 #zookeeper的地址
namespace: updatetask #定时任务命名空间
)任务创建
创建com.seckill.goods.task.statictask.StaticJob
,代码如下:
@Component
@ElasticSimpleJob(
cron = "1/5 * * * * ?", //任务执行周期
jobName = "updatetask", //和定时任务命名空间保持一致
shardingTotalCount = 1 //分片
)
public class StaticJob implements SimpleJob {
/**
* 业务处理方法
*/
@Override
public void execute(ShardingContext shardingContext) {
SimpleDateFormat simpleDateFormat = new SimpleDateFormat("HH:mm:ss");
System.out.println("时间:" + simpleDateFormat.format(new Date()));
}
}
讲解:
cron:定时表达式 jobName:这里和bootstrap.yml中的namespace保持一致 shardingTotalCount:分片数量
动态任务案例
1. 注册中心配置
bootstrap.yml
添加配置
# 动态定时任务
zkserver: zk-server:3181
zknamespace: zknamesp
2. 创建任务
创建任务类: com.seckill.goods.task.dynamic.DynamicJob
public class DynamicJob implements SimpleJob {
//通过spring取我们需要的类;
private FileService fileService= GetSpringBean.get(FileService.class);
/**
* 实现对应的任务
*/
@Override
public void execute(ShardingContext shardingContext) {
fileService.all();//获取数据库
System.out.println();
//获取请求的参数
String s = HttpUtil.get("https://www.baidu.com/");
System.out.println(s);
String id = shardingContext.getJobParameter();
SimpleDateFormat simpleDateFormat = new SimpleDateFormat("HH:mm:ss");
String jobName = shardingContext.getJobName();
System.out.println(jobName + "时间:" + simpleDateFormat.format(new Date()) + ":::" + id);
}
}
@Component
public class GetSpringBean implements ApplicationContextAware {
//spring类管理器
// 声明一个静态变量用于保存spring容器上下文
@Autowired
private static ApplicationContext context;
@Override
public void setApplicationContext(ApplicationContext applicationContext) throws BeansException {
this.context = applicationContext;
}
public static <T> T get(Class<T> clazz) {
return context.getBean(clazz);
}
}
监听器使用
编写监听器:com.seckill.goods.task.dynamic.DynamicListener
public class DynamicListener extends AbstractDistributeOnceElasticJobListener {
/**
* 构造函数
*/
public DynamicListener(long startedTimeoutMilliseconds, long completedTimeoutMilliseconds) {
super(startedTimeoutMilliseconds, completedTimeoutMilliseconds);
}
/**
* 执行前通知
*/
@Override
public void doBeforeJobExecutedAtLastStarted(ShardingContexts shardingContexts) {
System.out.println("=======doBeforeJobExecutedAtLastStarted=======");
}
/**
* 执行后通知
*/
@Override
public void doAfterJobExecutedAtLastCompleted(ShardingContexts shardingContexts) {
System.out.println("=======doAfterJobExecutedAtLastCompleted=======");
}
}
创建配置类配置注册中心信息,com.seckill.goods.task.dynamic.ElasticjobDynamicConfig
:
@Configuration
public class ElasticjobDynamicConfig {
@Value("${zkserver}")
private String zkserver;
@Value("${zknamespace}")
private String zknamespace;
@Autowired
private ZookeeperRegistryCenter zookeeperRegistryCenter;
@Autowired
private DynamicListener dynamicListener;
/**
* 1.配置初始化数据
*/
@Bean
public ZookeeperConfiguration zkConfig() {
//1.Zookeeper地址
//2.定时任务命名空间
return new ZookeeperConfiguration(zkserver, zknamespace);
}
/**
* 2.注册初始化数据
*/
@Bean(initMethod = "init")
public ZookeeperRegistryCenter registryCenter(ZookeeperConfiguration zkConfig) {
return new ZookeeperRegistryCenter(zkConfig);
}
/**
* 监听器
*/
@Bean
public DynamicListener dynamicListener() {
return new DynamicListener(10000L, 100000L);
}
/**
* 3.动态添加定时任务案例
*/
public void addDynamicTask(String jobName, String cron, int shardingTotalCount,
SimpleJob instance, String id) {
//1.添加Elastjob-lite的任务作业器
LiteJobConfiguration liteJobConfiguration = LiteJobConfiguration.newBuilder(
new SimpleJobConfiguration(
JobCoreConfiguration.newBuilder(jobName, cron, shardingTotalCount)
.jobParameter(id) //额外的参数
.build(),
instance.getClass().getName())
).overwrite(true).build();//overwrite(true)覆盖原来同名的任务
//2.将Lite的任务作业器添加到Spring的任务启动器中,并初始化
new SpringJobScheduler(instance, zookeeperRegistryCenter, liteJobConfiguration, dynamicListener).init();
}
//cron表达式格式
private static final String cron = "ss mm HH dd MM ? yyyy";
/**
* 时间转换成Cron表达式
* "1/5 * * * * ?";
*/
public static String date2cron(Date date) {
SimpleDateFormat simpleDateFormat = new SimpleDateFormat(cron);
return simpleDateFormat.format(date);
}
}
测试类 :http://localhost:28889/task?jobName=ytx2&time=5000&id=1 五秒后执行一次
@RestController
@RequestMapping(value = "/task")
public class TaskController {
@Autowired
private ElasticjobDynamicConfig elasticjobDynamicConfig;
/**
* 动态定时任务案例测试
*/
@GetMapping
public String task(String jobName, Long time, String id) {
// String cron = "0/" + time + " * * * * ?";
//在当前时间往后延迟time毫秒执行
String cron = ElasticjobDynamicConfig.date2cron(new Date(System.currentTimeMillis() + time));
elasticjobDynamicConfig.addDynamicTask(jobName, cron, 1, new DynamicJob(), id);
return "执行成功!";
}
}