SpringBatch
SpringBoot+Mybatis+SpringBatch,使用注解模式开发。千万级数据量高级优化经验分享,包括并发,基于MQ的远程分区实现。另外还有一个自动代码生成工具,帮助生成大部分重复代码。
m0_46485771
这个作者很懒,什么都没留下…
展开
-
SpringBatch批处理-高阶优化-基于MQ的远程分区
SpringBatch批处理-高阶优化-基于MQ的远程分区,代码已经完成,后面补代码说明。原创 2021-03-04 21:33:40 · 527 阅读 · 1 评论 -
SpringBatch批处理--mybatis代码自动生成器定制改造生成批处理程序
SpringBatch批处理–mybatis代码自动生成器定制改造生成批处理程序,代码已经完成,后面把代码说明补上。原创 2021-03-04 21:32:45 · 355 阅读 · 1 评论 -
SpringBatch批处理-高级优化-本地分区-附可运行源码
MQ远程分片使用ActiveMQ分片书里很少,每天机器消费一个消息的配置。原创 2021-01-19 22:11:22 · 594 阅读 · 0 评论 -
SpringBatch系列文章--高阶优化--Mybatis千万级大表的物理分页处理
Mybatis物理分页Mybatis SpringBatch物理分页重写MyBatisPhysicsPagingItemReaderMyBatisPhysicsPagingItemReaderMyBatisPhysicsPagingItemReaderBuilder`import org.apache.ibatis.session.SqlSessionFactory;Oracle版本Mybatis版本看了之前的几篇处理文章,还是很久以前写的了,最近再补一补更加高级的使用场景。真实的使用场景下会遇到以下场原创 2021-01-19 21:37:33 · 2554 阅读 · 1 评论 -
SpringBatch系列文章--SpringBoot注解版本--文件读写入库
SpringBatch系列文章–实战例子–文件读写入库。例子完成了,有时间了补一下代码说明。原创 2021-01-05 20:17:59 · 532 阅读 · 3 评论 -
SpringBatch系列文章-作业配置和运行-文章翻译
官网地址:https://docs.spring.io/spring-batch/docs/4.2.x/reference/html/job.html#configureJob,网页翻译工具翻译,官网有XML和JAVA配置两个版本,这里主要是JAVA版本。批处理总体模型:后面介绍Job的一些配置项。作业配置Configuring a Job该Job接口有多种实现,但是通过构建器可以消除配置差异。这里用到了设计模式-构建模式@Beanpublic Job footballJob() {原创 2020-11-27 17:06:54 · 394 阅读 · 0 评论 -
SpringBatch系列文章--文件读取入库定时任务方式
官网的例子基本都是基于XML配置的,在SpringBoot流行和简化开发的大环境下,再回过头去配置各种XML和手工Bean,会让SpringBoot使用失去了意义。这次尝试使用SpringBoot进行练习,看是否能简化开发。在官网的基础上进行了简单的变形,采用了Mysql8数据库,同时增加了定时器。启动两个定时器,纯粹就是为了调起多个Job实例,前面几篇文章有理论知识了,这里主要贴一些例子帮助快速入门。文末尾有源码,有需要的可以下载。原创 2020-07-29 16:31:22 · 540 阅读 · 0 评论 -
SpringBatch系列文章-官网入门体验例子
体验一下SpringBatch官网的入门例子,例子比较简单,从一个csv文件中读取名字信息然后转换为大写后插入到数据库中。https://spring.io/guides/gs/batch-processing/创建一个SpringBoot项目通过Spring向导创建一个SpringBoot项目,选中SpringBtach即可。完成的pom.xml如下:<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://mav原创 2020-07-20 16:40:42 · 566 阅读 · 0 评论 -
SpringBatch源码中所有例子清单MD文件
IDEA里面的MD阅读插件实在是不太好用。Spring Batch SamplesOverviewThere is considerable variability in the types of input and outputformats in batch jobs. There are also a number of options to considerin terms of how the types of strategies that will be used to handle转载 2020-07-15 16:43:53 · 818 阅读 · 0 评论 -
SpringBatch系列文章-领域模型语言
原文地址:https://docs.spring.io/spring-batch/docs/4.2.x/reference/html/domain.html#domainLanguageOfBatch原网站支持XML格式和JAVA格式,主要体现在代码那块,这里只是Java版本。批处理的域语言对于任何经验丰富的批处理设计师而言,Spring Batch中使用的批处理的总体概念应该是熟悉且舒适的。有“工作”和“步骤”,以及开发人员提供的处理单元,称为ItemReader和ItemWriter。但是,由于存翻译 2020-07-15 15:35:39 · 225 阅读 · 0 评论 -
SpringBatch系列文章--概念
批处理介绍企业域内的许多应用程序都需要批量处理才能在关键任务环境中执行业务操作。这些业务包括:自动,复杂地处理大量信息,无需用户交互即可最有效地进行处理。这些操作通常包括基于时间的事件(例如月末计算,通知或通信)。定期应用非常大的数据集(例如,保险利益确定或费率调整)重复处理复杂的业务规则。从内部和外部系统接收的信息的集成,通常需要格式化,验证和以事务方式进行的处理到记录系统中。批处理用于每天为企业处理数十亿笔交易。Spring Batch是一个轻量级的,全面的批处理框架,旨在支持开发对企翻译 2020-07-14 21:25:25 · 213 阅读 · 0 评论