开源调度框架xxl-job集成SpringBatch详解

最新推荐文章于 2024-03-14 17:25:15 发布
置顶 最新推荐文章于 2024-03-14 17:25:15 发布
阅读量3.2k 收藏 16
点赞数 1
分类专栏： SpringBatch学习之路 文章标签： spring spring boot 调度框架
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/TreeShu321/article/details/111092883
版权

文章目录

写在前面：
我是「境里婆娑」。我还是从前那个少年，没有一丝丝改变，时间只不过是考验，种在心中信念丝毫未减，眼前这个少年，还是最初那张脸，面前再多艰险不退却。
写博客的目的就是分享给大家一起学习交流，如果您对 Java感兴趣，可以关注我，我们一起学习。

前言：springbatch它对任务调度方面没有做出什么封装，如何把任务的执行时间实现cron表达式的可配置化， 修改的时候并不需要修改配置文件， 重启工程等等麻烦的事情， 网上查找各种资

了解本专栏 订阅专栏 解锁全文 超级会员免费看
境里婆娑
关注
  • 1
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Java开源的分布式任务调度平台 xxl-job.zip
07-19
《分布式任务调度平台XXL-JOB》 一、简介 1.1 概述 XXL-JOB是一个轻量级分布式任务调度框架，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。 1.2 特性 1、简单：支持通过Web页面对任务进行CRUD操作，操作简单，一分钟上手； 2、动态：支持动态修改任务状态、暂停/恢复任务，以及终止运行中任务，即时生效； 3、调度HA：“调度中心”基于集群Quartz实现，可保证调度中心HA； 4、任务HA：任务支持多地址配置，可保证任务执行HA； 5、任务Failover：多地址配置时，调度失败时将会平滑切换执行器进行Failover； 6、一致性：“调度中心”通过DB锁保证集群分布式调度的一致性； 7、自定义任务参数：支持在线配置调度任务入参，即时生效； 8、调度线程池：调度系统多线程触发调度运行，确保调度精确执行，不被堵塞； 9、执行日志：支持在线查看调度结果，并且查看完整的执行日志； 10、邮件报警：任务失败时支持邮件报警，支持配置多邮件地址群发报警邮件； 11、支持登录验证； 12、GLUE：提供Web IDE，支持在线开发任务逻辑代码，动态发布，实时编译生效，省略部署上线的过程。支持30个版本的历史版本回溯。 12、数据加密：调度中心和执行器之间的通讯进行数据加密，提升调度信息安全性； 14、任务依赖：支持配置子任务依赖，当父任务执行结束且执行成功后将会主动触发一次子任务的执行, 多个子任务用逗号分隔； 15、推送maven中央仓库: 将会把最新稳定版推送到maven中央仓库, 方便用户接入和使用; 1.3 发展 于2015年中，我在github上创建XXL-JOB项目仓库并提交第一个commit，随之进行系统结构设计，UI选型，交互设计…… 于2015-11月，XXL-JOB终于REALEASE了第一个大版本V1.0， 随后我将之发布到OSCHINA，XXL-JOB在OSCHINA上获得了@红薯的热门推荐，同期分别达到了OSCHINA的“热门动弹”排行第一和git.oschina的开源软件月热度排行第一，在此特别感谢红薯，感谢大家的关注和支持。 于2015-12月，我将XXL-JOB发表到我司内部知识库，并且得到内部同事认可。 于2016-01月我司展开XXL-JOB的内部接入和定制工作，在此感谢袁某和尹某两位同事的贡献，同时也感谢内部其他给与关注与支持的同事。我司大众点评目前已接入XXL-JOB，内部别名《Ferrari》（Ferrari基于XXL-JOB的V1.1版本定制而成，新接入应用推荐升级最新版本）。据最新统计, 自2016-01-21接入至2016-07-20期间，该系统已调度72000余次，表现优异。新接入应用推荐使用最新版本，因为经过数个大版本的更新，系统的任务模型、UI交互模型以及底层调度通讯模型都有了较大的优化和提升，核心功能更加稳定高效。 至今，XXL-JOB已接入多家公司的线上产品线，接入场景如电商业务，O2O业务和大数据作业等，截止2016-07-19为止，XXL-JOB已接入的公司包括不限于：- 1、大众点评； - 2、山东学而网络科技有限公司； - 3、安徽慧通互联科技有限公司； - 4、人人聚财金服； - 5、上海棠棣信息科技股份有限公司 - 6、运满满 - 7、米其林(中国区) - 8、妈妈联盟 - 9、九樱天下（北京）信息技术有限公司 - 10、万普拉斯科技有限公司(一加手机) - ……欢迎大家的关注和使用，XXL-JOB也将拥抱变化，持续发展。 1.4 下载 源码地址 (将会在两个git仓库同步发布最新代码)github地址git.osc地址 中央仓库地址 (将会把上个版本的公共依赖,推送到中央仓库)<!-- http://repo1.maven.org/maven2/com/xuxueli/xxl-job-core/ -->     com.xuxueli     xxl-job-core     1.4.1 博客地址oschina地址cnblogs地址csdn地址 技术交流群(仅作技术交流)：367260654 标签：任务调度  job  作业调度
开源项目xxl-jo任务调度中心集成批处理springbatch （无缝集成）
测试小鸡的博客
12-28 2711
从一开始查看springbatch的官方文档就知道了springbatch主要是支持批处理的执行框架， 它对任务调度方面实在是没有做出什么封装， 从跑起spring batch工程的第一个任务开始， 上头就要求要把任务的执行时间实现cron表达式的可配置化， 当向要修改的时候并不需要修改配置文件， 重启工程等等麻烦的事情， 网上查找各种资料知道 xxl-job 及当当网开源的elastic-job...
SpringBoot 项目整合xxl-job
qq_33807380的博客
03-14 1065
XXL-JOB是一个分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。
xxl-job-admin-spring-boot:将xuxueli的xxl-job-admin改造到spring boot框架，公司在用
04-28
xxl-job-admin-spring-boot 简介 xuxueli的xxl-job-admin默认为war包发布，需要放置到容器中，而spring boot “not war， just run jar！”的口号使我们早已习惯了java -jar 启动web服务的清爽简洁，因此我将xxl-job-admin改造到spring boot框架，公司目前正在使用。 版本 spring-boot: 1.5.14.RELEASE xxl-job-core: 1.9.1 使用步骤： 首先感谢xuxueli的开源奉献。 进入xxl-job的源项目： , 选择1.9.1的tag并下载： 运行 mvn clean deploy 安装到仓库中，我们需要xxl-job-core 子模块。 下载本项目 将resources/application-dev.yml中的配置改为自己的配置即可，对应内容可参考xx
xxl-job：分布式任务调度框架。（分布式任务调度平台XXL-JOB）
02-04
XXL作业 XXL-JOB，一个分布式任务调度框架。 介绍 XXL-JOB是一个分布式任务调度框架。 它的核心设计目标是快速发展，学习简单，轻巧且易于扩展的内容。 现在，它已经是开源的，许多公司在生产环境中使用它，真正的“开箱即用”。 XXL-JOB是一个分布式任务调度平台，其核心设计目标是开发Swift，学习简单，轻量级，易扩展。更换开放源代码并连接到公司线上产品线，开箱即用。 文献资料 通讯 产品特点 1，简单：支持通过Web页面对任务进行CRUD操作，操作简单，一分钟上手； 2，动态：支持动态修改任务状态，启动/停止任务，以及终止运行中任务，即时生效； 3，调度中心HA（中心式）
XXL-JOB调度系统学习、调度流程、spring生命周期
07-23
XXL-JOB学习 xxl-job主流分析，包含调度客户端任务自动注册，服务端内部调度线程调度分析 开源源码赏析，代码分析，spring启动流程分析 Java多线程，线程池启停，设计模式分析
spring-batch：Spring批处理教程
02-03
Spring Batch教程 该存储库包含发布在上的Spring Batch示例的源代码 如有疑问或评论，请在各自的博客文章中发表评论或打开GitHub问题。 谢谢！
调度与监控-spring batch(7)结合xxl-job进行批处理
masson32的专栏
06-12 5783
调度与监控-spring batch(7)结合xxl-job进行批处理 tags: springbatch 文章目录调度与监控-spring batch(7)结合xxl-job进行批处理1.引言2.xxl-job介绍3.编写Spring Batch执行器3.1 添加maven依赖3.2 添加执行器配置文件`executor.properties`3.3 执行器组件配置3.4 编写执行器4.使用x...
xxlJob与Spring Boot原生定时器的区别
持续学习，共同进步
08-21 5065
xxljob我接触是在做钉钉考勤项目的时候，自己的接口模块是一个job，每天早上固定时间去调钉钉的接口获取当天的排班信息。而@Scheduled是在学习视频时接触到，敲了一个demo。说起来xxljob和@Scheduled定时器的区别，之前只是知道这两个都是用来定时执行的。并且之前的理解就是这两个应该差不多可以等价，后来得到了一些启发。进行深究这两个区别。 先来简单介绍下xxljob，xxl-job是一个轻量级分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。 @Schedule
Springboot 整合 xxljob 使用定时任务调度(新手入门篇)
热门推荐
默默不代表沉默
06-14 1万+
最快的速度学会使用XXL-JOB
SpringBatch实际业务技术总结
有时间可以指导毕业设计，可以私聊我。一个热爱编程的smallCuteMonkey，可以私信我
04-25 498
1.实际业务实现的不一定是ItemReader接口，可能是其他的一些接口，不过这些接口都最终实现了ItemReader接口。 @Component @Slf4j public class InspectorDayTaskReader<T> extends AbstractItemCountingItemStreamItemReader<T> implements InitializingBean { private Iterator<T> iterator;
基于Spring Batch的大数据量并行处理
12-14
基于Spring Batch的大数据量并行处理 基于Spring Batch的大数据量并行处理
xxl-job2.3.0集成nacos配置,注册中心
05-11
xxl-job2.3.0任务调度中心集成nacos配置,注册中心,xxl-job是一款开源的分布式任务调度框架
Spring 官方批处理框架真香！Spring 全家桶永远滴神！
【CSDN】
10-13 1227
推荐一个很多小伙伴没注意到的 Spring 官方的批处理框架。 Spring Batch 是一个轻量级但功能又十分全面的批处理框架，主要用于批处理场景比如从数据库、文件或队列中读取大量记录。不过，需要注意的是：Spring Batch 不是调度框架。商业和开源领域都有许多优秀的企业调度框架比如 Quartz、XXL-JOB、Elastic-Job。它旨在与调度程序一起工作，而不是取代调度程序。 目前，Spring Batch 也已经被收录进了开源项目 awesome-java （非常棒的 Java 开源
使用springbatch实现批处理（自带分页）
qq_23148455的博客
03-10 2013
我个人理解springbatch虽然是一门古老的艺术，在传统金融行业的日切/日终结算中发挥着余光，但是在目前的微服务架构或者中台架构设计中还是存有一席之地的。 在微服务和中台架构设计中经常碰到的场景，如数据批处理（群发短信/邮件，批量数据同步分发）。 个人整理一个数据分发场景，为了不侵入业务，分为待分发数据初始化 / 增量待分发数据初始化 / 数据分发。 首先，maven加入依赖： <dependency> ...
SpringBoot教程(十)——集成Xxl-job
zlx
07-22 638
1.pom依赖 <!-- xxl-job-core --> <dependency> <groupId>com.xuxueli</groupId> <artifactId>xxl-job-core</artifactId> <version>2.3.0</version> </dependency> 2.yml配置 # web port server.port=80.
mongo同步-spring batch(8)的mongo读写组件使用
masson32的专栏
08-09 990
Spring Batch的读组件(`ItemReader`)，处理组件(`ItemProcessor`)，写组件(`ItemWriter`)支持丰富的数据类型，其中`MongoItemReader`及`MongoItemWriter`是针对mongo的读写组件，用户可以直接使用，进行`Mongodb`的数据读写操作
大数据调度系统为什么选型Apache DolphinScheduler ?
张伯毅的专栏
02-24 1万+
Apache DolphinScheduler 于 17 年在易观数科立项， 19 年 3 月开源，8 月进入 Apache 孵化器， 已累计有 400+ 公司在生产上使用。DolphinScheduler 致力于“解决大数据任务之间错综复杂的依赖关系，使整个数据处理流程直观可见”。DolphinScheduler 以 DAG(有向无环图) 的方式将任务连接起来，可实时监控任务的运行状态，同时支持重试、从指定节点恢复失败、暂停及 Kill任务等操作 .一 .背景二 .定位三 .案例3.1. 易观千帆3.
SpringBatch的详细学习笔记
有时间可以指导毕业设计，可以私聊我。一个热爱编程的smallCuteMonkey，可以私信我
03-31 1859
文章目录Gittee地址SpringBatch的学习笔记第一章 SpringBatch入门第一节 SpringBatch概述第二节 搭建SpringBatch项目第三节 SpringBatch入门程序第四节 替换为MySQL数据库第五节 核心API第二章 作业流第一节 Job的创建和使用第二节 Flow的创建和使用第三节 split实现并发执行第四节 决策器的使用第五节 Job的嵌套第六节 监听器的使用第七节 Job参数第三章 数据输入第一节 ItemReader概述第二节 从数据库中读取数据第三节 从普通
定时任务框架xxl-job
最新发布
04-08
xxl-job是一个开源的分布式定时任务框架，它提供了一套完整的任务调度和管理解决方案。下面是对xxl-job的介绍： 1. 任务调度：xxl-job可以实现对任务的定时触发和执行，支持按照固定时间点、固定间隔、Cron表达式等方式进行任务调度。 2. 分布式执行：xxl-job支持分布式任务执行，可以将任务分发到多台机器上并行执行，提高任务执行效率和吞吐量。 3. 可视化管理：xxl-job提供了一个可视化的任务管理平台，可以方便地进行任务的创建、编辑、暂停、恢复等操作，同时也提供了任务执行日志查看和统计功能。 4. 弹性扩展：xxl-job支持动态添加和删除任务，可以根据业务需求灵活地进行任务的扩展和缩减。 5. 高可靠性：xxl-job具备高可靠性，支持任务失败重试、失败告警等机制，保证任务的稳定运行。 6. 兼容性：xxl-job兼容各种Java开发框架，可以与Spring、Spring Boot等框架无缝集成。 7. 扩展性：xxl-job提供了丰富的扩展接口，可以根据需要进行二次开发和定制化。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

境里婆娑

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值