大胆挑战！Spring Batch批处理8000w条CSV数据，助你高效落地！

已于 2024-01-21 09:38:51 修改
阅读量596 收藏 12
点赞数 12
文章标签： spring batch python
于 2024-01-20 16:00:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48278764/article/details/135716857
版权

官方大胆挑战！Spring Batch批处理8000w条CSV数据，助你高效落地！

需求

第三方给了我一个800w条数据的CSV文件，让我们写入到数据库当中！

  • 优先考虑Spring Batch 批处理框架

官方中文文档

数据流转架构分析

在这里插入图片描述

Spring Batch 是什么、可以干什么、优势在哪…?

上网自行查阅 谢谢！

实战开始

代码结构

在这里插入图片描述

sql 脚本

表结构.sql
在这里插入图片描述

配置job的类

BatchConfig
在这里插入图片描述

  • 就不一 一截图了

实体

ProjectUser

批处理-简单操作

BatchWeb

开启对Validator依赖包提供校验注解支持，来校验ItemReader读取到的数据是否满足要求

CsvBeanValidator
##监听器实现JobExecutionListener接口
CsvJobListener

属性赋值操作 作用域：读

CsvLineMapper

对数据加工 然后并返回

CsvValidatingItemProcessor

启动类

YqmmBatchApplication

配置文件yml

application.yml

模拟：>>>>800w条数据的CSV文件

project_user.csv

启动项目

请求接口

  • http://localhost:11111/batch/execute-jod

成功插入批量数据

在这里插入图片描述

说明：用CSV文件的121条数据来模拟800w数据
SteveCode.
关注
  • 12
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
SpringBatch成功案例(CSV、XML、自定义长度等方式)
07-20
常见的几种SpringBatch运行的成功案例，本人亲测，绝对可靠！你值得拥有
使用SpringBatch读取csv文件
huan的学习记录
08-31 527
SpringBatch读取CSV文件的简单入门案例
Spring Batch示例: 读取CSV文件并写入MySQL数据库
weixin_33726318的博客
05-21 1101
Spring Batch示例: 读取CSV文件并写入MySQL数据库 GitHub版本: https://github.com/kimmking/SpringBatchReferenceCN/blob/master/01_introduction/Spring_Batch_MySQL.md 原文链接: Reading and wri...
Spring-batch解析Csv文件
watson1360884839的博客
11-20 1763
背景： 最近用POI解析线上的excel文件，在5万条以上的时候性能很慢。甚至内存卡死现象。于是想到用spring-batch分批次读取。 但是spring-batch不支持直接读取excel文件。所以先将excel转为csv文件（测试转换效率：8万条 40s）。然后用spring-batch分批次读取，每次5000条。 然后5000条数据处理再用多线程（forkJoin）处理。      ...
Spring Batch 入门之 CSV-to-DB
Little_fxc的博客
01-29 470
Spring Batch CSV to XML 学习使用Spring batch从CSV文件读取记录，并使用 StaxEventItemWriter 输出经过处理的记录转换为 XML 的数据。 上面的图显示了构成Spring Batch领域语言的关键概念。 作业有一到多个步骤，每个步骤只有一个 ItemReader、一个 ItemProcessor 和一个 ItemWriter。 使用 JobL...
Spring.Batch批处理框架
04-12
Spring Batch 是一个轻量级的、完善的批处理框架,旨在帮助企业建立健壮、高效的批处理应用。Spring Batch是Spring的一个子项目,使用Java语言并基于Spring框架为基础开发,使得已经使用 Spring 框架的开发者或者企业更...
Spring Batch批处理框架
11-16
Spring Batch是一个开源的轻量级批处理框架，它提供了一整套可复用的组件，用于构建健壮且高效的批处理应用程序。由于信息给定的【部分内容】并没有提供实际的技术细节，因此我将基于Spring Batch框架本身，详细介绍...
Spring Batch批处理详解
02-02
2024最新!一文看懂Spring Batch批处理(大白话版,干货满满), 学习你将收获: 一.系统了解Spring Batch批处理; 二.项目中能熟练使用Spring Batch批处理
Spring Batch批处理框架使用解析
08-25
* 高效性：Spring Batch可以处理大量数据的批处理任务，并且可以将任务分配给多个步骤来实现批处理。 * 可扩展性：Spring Batch提供了一个开放式的架构，我们可以根据需要添加新的组件来满足我们的需求。 Spring ...
Spring batch批处理框架
08-30
Spring Batch 是一个强大的批处理框架，它为Java应用程序提供了处理大量数据的能力。Spring Batch 的设计目标是处理批量数据，如数据库记录、文件等，而无需人工干预，这在许多业务场景中至关重要。它通过一系列精心...
springboot-batch-dbtocsv-demo:这个项目解释了如何通过springboot使用springbatch将数据从数据库插入到csv文件中
05-18
springboot-batch-dbtocsv-demo 这个项目解释了如何通过springboot使用springbatch将数据从数据库插入到csv文件中 什么是Springbatch？ Spring Batch是Spring Framework的一部分。 它是用于批处理的基于Java的框架。 一个轻量级的，全面的批处理框架。 基于POJO的开发方法，从Spring框架中得知。 基于Spring框架的原理和优势。 •它支持：–并行批处理。 –大规模并行批处理。 –故障后手动或计划重启。 –定期提交批处理。 - 其他特性。 什么是批处理？ •批处理用于批处理应用程序以处理大量数据。 •通常是批处理应用程序：–从多个来源（DB，CSV / XML文件，队列，Web服务等）读取大量数据。 –按照某些业务规则处理或转换读取的数据。 –将转换后的数据写入一个或多个目标。 •通常，
spring batch 读取多个文件数据导入数据库示例
08-31
本篇文章主要介绍了spring batch 读取多个文件数据导入数据库示例，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
Spring Batch之读数据—读多文件（三十三）
qq_21370419的博客
07-16 1494
Spring Batch之读数据—读多文件（三十三）
Spring Batch从csv文件读取再生成csv文件
08-14 3073
Spring Batch从csv文件读取再生成csv文件
SpringBatch(XML,CSV,TXT) 文件的批量读写
一只勤奋的PIG
11-06 672
方便用得到的时候查阅 转载自：https://www.jianshu.com/p/9b7088471371
【数据预处理】对于csv文件批量处理
YUelite的博客
12-23 1656
【数据预处理】对于csv文件批量处理
一文搞懂大数据批量处理框架Spring Batch的完美解析方案是什么。
the shy
04-18 1992
批处理框架在Job执行时默认使用单个线程完成任务的执行，同时框架提供了线程池的支持（Multithreaded Step模式），可以在Step执行时候进行并行处理，这里的并行是指同一个Step使用线程池进行执行，同一个Step被并行的执行。Step包含了一个实际运行的批处理任务中的所有必需的信息，其实现可以是非常简单的业务实现，也可以是非常复杂的业务处理，Step的复杂程度通常是业务决定的。这意味着，所有的JEE7应用服务器都会有批处理的能力，目前第一个实现此规范的应用服务器是Glassfish 4。
SpringBatch高阶应用：大数据批处理框架实战指南
wjianwei666的专栏
05-06 226
当程序恢复后你希望能够接着程序终止前的进度继续执行，这时候你需要进行如下的操作（本人没有发现有什么API能够操作的，可能文档没看仔细）。要想重复启动Job，我们可以在启动Job时设置不同的JobParameters参数，只要参数不同那么就可以重复的启动Job。当你调用该接口时，你会发现接口一直不会返回，一直阻塞，下图是Job的启动序列。// 节流限制10，这里配置的大小应该与你的数据库连接池大小及使用的线程池核心线程数一致。通过上面配置后，Job启动将是异步的会直接返回JobExecution。
dubbo和springcloud有什么异同？
最新发布
yszbrzdd的博客
08-15 268
Dubbo主要关注于高效的 RPC 调用和服务治理。提供了一个综合的微服务解决方案，涵盖了从服务注册到配置管理的广泛功能。它们可以根据具体需求和现有技术栈选择使用，也可以结合使用，例如在 Spring Cloud 环境中集成 Dubbo 作为 RPC 框架。
spring batch 批处理框架
03-17
Spring Batch是一个开源框架，它用于大量数据的处理，支持任务的并行处理、调度、重试、并且能够处理大量数据。它提供了一组组件，用于读取输入数据、处理数据、写入输出数据。它还支持多种数据格式，如XML、CSV、Excel等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

SteveCode.

永远年轻，永远热泪盈眶

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值