分布式任务调度

版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/qq_40241957/article/details/82919353

什么是定时任务?
指定时间去执行任务

Java实现定时任务方式

1.Thread

public class Demo01 {
	static long count = 0;
	public static void main(String[] args) {
		Runnable runnable = new Runnable() {
			@Override
			public void run() {
				while (true) {
					try {
						Thread.sleep(1000);
						count++;
						System.out.println(count);
					} catch (Exception e) {
						// TODO: handle exception
					}
				}
			}
		};
		Thread thread = new Thread(runnable);
		thread.start();
	}
}

2.TimerTask

/**
 * 使用TimerTask类实现定时任务
*/
public class Demo02 {
	static long count = 0;
	public static void main(String[] args) {
		TimerTask timerTask = new TimerTask() {
			@Override
			public void run() {
				count++;
				System.out.println(count);
			}
		};
		Timer timer = new Timer();
		// 天数
		long delay = 0;
		// 秒数
		long period = 1000;
		timer.scheduleAtFixedRate(timerTask, delay, period);
	}    
}

3.ScheduledExecutorService
使用ScheduledExecutorService是从Java
JavaSE5的java.util.concurrent里,做为并发工具类被引进的,这是最理想的定时任务实现方式。

public class Demo003 {
	public static void main(String[] args) {
		Runnable runnable = new Runnable() {
			public void run() {
				// task to run goes here
				System.out.println("Hello !!");
			}
		};
		ScheduledExecutorService service = Executors.newSingleThreadScheduledExecutor();
		// 第二个参数为首次执行的延时时间,第三个参数为定时执行的间隔时间
		service.scheduleAtFixedRate(runnable, 1, 1, TimeUnit.SECONDS);
	}
}

分布式情况下定时任务会出现哪些问题?

答:分布式集群的情况下,怎么保证定时任务不被重复执行(解释:分布式情况下,一个项目被打成war包部署到多台服务器上,这个时候如果有任务调度的话就有可能产生幂等性(一个任务被重复执行))
在这里插入图片描述

分布式定时任务解决方案

①使用zookeeper实现分布式锁,保证只有一台服务器执行job, 缺点(需要创建临时节点、和事件通知不易于扩展)
②使用配置文件做一个开关 ,加一个配置start=true或者start=false,如果为true,执行job,如果为false,不执行job,缺点;发布后,需要重启
③数据库唯一约束(意思就是说每台服务器(例如tomcat)执行job之前必须先往数据库中插入一个唯一id(主键id),插入成功那么就执行,其他服务器就不能插入成功了,因为插入的id是唯一的),缺点效率低
④使用分布式任务调度平台XXLJOB

传统任务调度的缺点:

1.没有补偿机制
2.不支持集群
3.不支持路由策略(分发)
4.不支持统计
5.不支持管理平台
6.没有报警邮箱(当服务器瘫痪,要及时报警邮箱给运维人员)
7.没有状态监控

XXLJOB介绍

XXL-JOB是一个轻量级分布式任务调度框架,其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线,开箱即用
1、简单:支持通过Web页面对任务进行CRUD操作,操作简单,一分钟上手;
2、动态:支持动态修改任务状态、暂停/恢复任务,以及终止运行中任务,即时生效;
3、调度中心HA(中心式):调度采用中心式设计,“调度中心”基于集群Quartz实现,可保证调度中心HA;
4、执行器HA(分布式):任务分布式执行,任务"执行器"支持集群部署,可保证任务执行HA;
5、任务Failover:执行器集群部署时,任务路由策略选择"故障转移"情况下调度失败时将会平滑切换执行器进行Failover;
6、一致性:“调度中心”通过DB锁保证集群分布式调度的一致性, 一次任务调度只会触发一次执行;
7、自定义任务参数:支持在线配置调度任务入参,即时生效;
8、调度线程池:调度系统多线程触发调度运行,确保调度精确执行,不被堵塞;
9、弹性扩容缩容:一旦有新执行器机器上线或者下线,下次调度时将会重新分配任务;
10、邮件报警:任务失败时支持邮件报警,支持配置多邮件地址群发报警邮件;
11、状态监控:支持实时监控任务进度;
12、Rolling执行日志:支持在线查看调度结果,并且支持以Rolling方式实时查看执行器输出的完整的执行日志;
13、GLUE:提供Web IDE,支持在线开发任务逻辑代码,动态发布,实时编译生效,省略部署上线的过程。支持30个版本的历史版本回溯。
14、数据加密:调度中心和执行器之间的通讯进行数据加密,提升调度信息安全性;
15、任务依赖:支持配置子任务依赖,当父任务执行结束且执行成功后将会主动触发一次子任务的执行, 多个子任务用逗号分隔;
16、推送maven中央仓库: 将会把最新稳定版推送到maven中央仓库, 方便用户接入和使用;
17、任务注册: 执行器会周期性自动注册任务, 调度中心将会自动发现注册的任务并触发执行。同时,也支持手动录入执行器地址;
18、路由策略:执行器集群部署时提供丰富的路由策略,包括:第一个、最后一个、轮询、随机、一致性HASH、最不经常使用、最近最久未使用、故障转移、忙碌转移等;
19、运行报表:支持实时查看运行数据,如任务数量、调度次数、执行器数量等;以及调度报表,如调度日期分布图,调度成功分布图等;
20、脚本任务:支持以GLUE模式开发和运行脚本任务,包括Shell、Python等类型脚本;
21、阻塞处理策略:调度过于密集执行器来不及处理时的处理策略,策略包括:单机串行(默认)、丢弃后续调度、覆盖之前调度;
22、失败处理策略;调度失败时的处理策略,策略包括:失败告警(默认)、失败重试;
23、分片广播任务:执行器集群部署时,任务路由策略选择"分片广播"情况下,一次任务调度将会广播触发对应集群中所有执行器执行一次任务,同时传递分片参数;可根据分片参数开发分片任务;
24、动态分片:分片广播任务以执行器为维度进行分片,支持动态扩容执行器集群从而动态增加分片数量,协同进行业务处理;在进行大数据量业务操作时可显著提升任务处理能力和速度。
25、事件触发:除了"Cron方式"和"任务依赖方式"触发任务执行之外,支持基于事件的触发任务方式。调度中心提供触发任务单次执行的API服务,可根据业务事件灵活触发。

XXLJOBGitHub地址
https://github.com/xuxueli/xxl-job
在这里插入图片描述
在这里插入图片描述
然后把xxl-job-master导入进去
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
然后把xxl-job-admin添加到tomcat上运行:然后在浏览器输入地址访问效果如下:
在这里插入图片描述

分布式任务调度原理:
执行器:就是执行任务的机器
在这里插入图片描述

调度中心集群

(可选):
调度中心支持集群部署,提升调度系统可用性。
集群部署唯一要求为:保证每个集群节点配置(db和登陆账号等)保持一致。调度中心通过db配置区分不同集群。
调度中心在集群部署时可通过nginx负载均衡,此时可以为集群分配一个域名。该域名一方面可以用于访问,另一方面也可以用于配置执行器回调地址。
注意:这里的xxl.job.admin.address后面的ip地址+端口号是我们部署xxl-job-admin所在的tomcat+端口号
在这里插入图片描述
这个时候我们新建一个执行器(这里有一个小错误,就是机器地址的ip和端口号之间的冒号应该填英文的,但是我下面的这个图却填错了)
在这里插入图片描述
新建一个任务(下图有一个小错误,就是Cron应该是0/2 * * * * ?,2和*之间有空格,之间也有空格,*和?之间也有空格)
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

然后启动xxl-job-admin(发布到tomcat上,然后启动tomcat即可),这个时候控制台可能会报错,这是因为任务会默认启动,而执行器却没有启动(任务首先在任务管理平台启动。之后再由任务管理平台分发到执行器上执行),解决办法很简单,那就是点击“暂停”按钮,暂停之后再启动xxl-job-executer,即可
在这里插入图片描述
看到如下效果说明成功了!!!
在这里插入图片描述

也可以根据上面的执行器sample自己编一个执行器。

在这里插入图片描述

展开阅读全文

没有更多推荐了,返回首页