(2)分布式定时任务-xxl-job

1、SpringBoot调用

https://gitee.com/xuxueli0323/xxl-job下载;

找到xxl-job\doc\db\tables_xxl_job.sql 运行;

cd \xxl-job-admin

mvn package

cd target 

nohup java -jar xxl-job-admin-2.3.0.jar &

http://localhost:8080/xxl-job-admin/ 

默认登录账号 “admin/123456”

https://www.xuxueli.com/xxl-job/

 

注意:貌似xxl-job不能向像elastic-Job一样根据分片参数执行相关的分片逻辑:

https://gitee.com/xuxueli0323/xxl-job中:

 

实现注意:

 

2、任务分片

参考:https://blog.csdn.net/it_freshman/article/details/105421781

  • 单机多任务

       单机上建一个任务,在【任务管理】配置多个任务,然后根据任务参数来进行分线程跑任务:

      

  • 多机分片

      在两台以上机器上启动执行器实例:

   

    然后配置一个任务:

  

会在同一时刻产生两个日志:

日志结果:

 

3、使用xxl-job调度kettle

1.部署xxl-job调度平台

从GitHub上下载源码,参考官网部署好xxl-job.

2.调度kettle

(1)、新增一个调度任务,运行模式选择为GLUE(shell)

(2)、选择GLUE IDE编辑

(3)、在shell界面编辑好kettle调度命令即可

data-integration目录下的 Kitchen.bat。运行kitchen.bat,弹出新的窗口 kitchen—任务执行器(命令行方式),一般在自动调度时借助此命令调用调试成功的任务(job):

 

随后启动定时任务,作业即可进入调度周期了。

小结:此方式是直接通过xxl-job和kitchen.bat脚本进行调度作业,每启动一次kitchen.bat脚本就会起一个jvm实例,当任务过多时,将会产生内存溢出,因此需要使用其他方式来将kettle做成web接口,以后每次调度时,只需通过xxl-job调度kettle的接口即可,不会产生多起jvm的情况。

 

 

分布式任务调度平台XXL-JOB》 一、简介 1.1 概述 XXL-JOB是一个轻量级分布式任务调度框架,其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线,开箱即用。 1.2 特性 1、简单:支持通过Web页面对任务进行CRUD操作,操作简单,一分钟上手; 2、动态:支持动态修改任务状态、暂停/恢复任务,以及终止运行中任务,即时生效; 3、调度HA:“调度中心”基于集群Quartz实现,可保证调度中心HA; 4、任务HA:任务支持多地址配置,可保证任务执行HA; 5、任务Failover:多地址配置时,调度失败时将会平滑切换执行器进行Failover; 6、一致性:“调度中心”通过DB锁保证集群分布式调度的一致性; 7、自定义任务参数:支持在线配置调度任务入参,即时生效; 8、调度线程池:调度系统多线程触发调度运行,确保调度精确执行,不被堵塞; 9、执行日志:支持在线查看调度结果,并且查看完整的执行日志; 10、邮件报警:任务失败时支持邮件报警,支持配置多邮件地址群发报警邮件; 11、支持登录验证; 12、GLUE:提供Web IDE,支持在线开发任务逻辑代码,动态发布,实时编译生效,省略部署上线的过程。支持30个版本的历史版本回溯。 12、数据加密:调度中心和执行器之间的通讯进行数据加密,提升调度信息安全性; 14、任务依赖:支持配置子任务依赖,当父任务执行结束且执行成功后将会主动触发一次子任务的执行, 多个子任务用逗号分隔; 15、推送maven中央仓库: 将会把最新稳定版推送到maven中央仓库, 方便用户接入和使用; 1.3 发展 于2015年中,我在github上创建XXL-JOB项目仓库并提交第一个commit,随之进行系统结构设计,UI选型,交互设计…… 于2015-11月,XXL-JOB终于REALEASE了第一个大版本V1.0, 随后我将之发布到OSCHINA,XXL-JOB在OSCHINA上获得了@红薯的热门推荐,同期分别达到了OSCHINA的“热门动弹”排行第一和git.oschina的开源软件月热度排行第一,在此特别感谢红薯,感谢大家的关注和支持。 于2015-12月,我将XXL-JOB发表到我司内部知识库,并且得到内部同事认可。 于2016-01月我司展开XXL-JOB的内部接入和定制工作,在此感谢袁某和尹某两位同事的贡献,同时也感谢内部其他给与关注与支持的同事。我司大众点评目前已接入XXL-JOB,内部别名《Ferrari》(Ferrari基于XXL-JOB的V1.1版本定制而成,新接入应用推荐升级最新版本)。据最新统计, 自2016-01-21接入至2016-07-20期间,该系统已调度72000余次,表现优异。新接入应用推荐使用最新版本,因为经过数个大版本的更新,系统的任务模型、UI交互模型以及底层调度通讯模型都有了较大的优化和提升,核心功能更加稳定高效。 至今,XXL-JOB已接入多家公司的线上产品线,接入场景如电商业务,O2O业务和大数据作业等,截止2016-07-19为止,XXL-JOB已接入的公司包括不限于:- 1、大众点评; - 2、山东学而网络科技有限公司; - 3、安徽慧通互联科技有限公司; - 4、人人聚财金服; - 5、上海棠棣信息科技股份有限公司 - 6、运满满 - 7、米其林(中国区) - 8、妈妈联盟 - 9、九樱天下(北京)信息技术有限公司 - 10、万普拉斯科技有限公司(一加手机) - ……欢迎大家的关注和使用,XXL-JOB也将拥抱变化,持续发展。 1.4 下载 源码地址 (将会在两个git仓库同步发布最新代码)github地址git.osc地址 中央仓库地址 (将会把上个版本的公共依赖,推送到中央仓库)<!-- http://repo1.maven.org/maven2/com/xuxueli/xxl-job-core/ -->     com.xuxueli     xxl-job-core     1.4.1 博客地址oschina地址cnblogs地址csdn地址 技术交流群(仅作技术交流):367260654 标签:任务调度  job  作业调度
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值