spring batch

于 2023-01-17 22:45:00 发布
阅读量254 收藏
点赞数
分类专栏： 程序代码 文章标签： spring batch java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/taotao6086/article/details/128718796
版权

spring batch批量

1.简单任务

1.修改配置

修改application.properties文件中的配置

# 程序启动就执行job
#spring.batch.job.enabled=false

2.代码实现

1.创建任务

import cn.hutool.core.date.DateUtil;
import org.springframework.batch.core.Job;
import org.springframework.batch.core.Step;
import org.springframework.batch.core.StepContribution;
import org.springframework.batch.core.configuration.annotation.JobBuilderFactory;
import org.springframework.batch.core.configuration.annotation.StepBuilderFactory;
import org.springframework.batch.core.scope.context.ChunkContext;
import org.springframework.batch.core.step.tasklet.Tasklet;
import org.springframework.batch.repeat.RepeatStatus;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

import java.util.Date;

/**
 * Description:
 * User: liu
 * Date: 2021-10-17
 * Time: 17:06
 */

@Configuration
public class SimpleJobDemo {

    //引入job工厂和step工厂，job和step都是由2个工厂创造出来的
    @Autowired
    private JobBuilderFactory jobBuilderFactory;

    @Autowired
    private StepBuilderFactory stepBuilderFactory;

    /**
     * job ，job调用step完成任务
     * @return
     */
    @Bean
    public Job simpleJobDemoJob() {
        //名字相同的job，成功后就不执行了。
        String jobName = "jobLauncherDemoJob_"+ DateUtil.format(new Date(), "yyyy_MM_DD_HH_mm_ss");

        return jobBuilderFactory.get(jobName)
                .start(simpleJobDemoStep1())
                .next(simpleJobDemoStep2())         //多个step，可以继续使用next
                .build();
    }

    @Bean
    public Step simpleJobDemoStep1(){
        return stepBuilderFactory.get("simpleJobDemoStep1")
                .tasklet(new Tasklet() {
                    @Override
                    public RepeatStatus execute(StepContribution stepContribution, ChunkContext chunkContext) throws Exception {
                        System.out.println("大家好，我是step1");
                        return RepeatStatus.FINISHED;
                    }
                })
                .build();
    }

    @Bean
    public Step simpleJobDemoStep2(){
        return stepBuilderFactory.get("simpleJobDemoStep2")
                .tasklet(new Tasklet() {
                    @Override
                    public RepeatStatus execute(StepContribution stepContribution, ChunkContext chunkContext) throws Exception {
                        System.out.println("大家好，我是step2");
                        return RepeatStatus.FINISHED;
                    }
                })
                .build();
    }
}
2.springboot启动类
import org.springframework.batch.core.configuration.annotation.EnableBatchProcessing;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;

@SpringBootApplication
@EnableBatchProcessing
public class OpPlatformSpringbootbatchApplication {

    public static void main(String[] args) {
        SpringApplication.run(OpPlatformSpringbootbatchApplication.class, args);
    }

}

3.运行结果

可以看到step1和step2都运行了，并且打印运行相关信息。
在这里插入图片描述

2.简单传递参数的任务

1.修改配置

修改application.properties文件中的配置

spring.batch.job.enabled=false

2.代码实现

1.创建任务

import cn.hutool.core.date.DateUtil;
import lombok.extern.slf4j.Slf4j;
import org.springframework.batch.core.*;
import org.springframework.batch.core.configuration.annotation.JobBuilderFactory;
import org.springframework.batch.core.configuration.annotation.StepBuilderFactory;
import org.springframework.batch.core.scope.context.ChunkContext;
import org.springframework.batch.core.step.tasklet.Tasklet;
import org.springframework.batch.repeat.RepeatStatus;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

import java.util.Date;
import java.util.Map;

/**
 * Description:
 * User: liu
 * Date: 2021-10-17
 * Time: 14:39
 */

@Slf4j
@Configuration
public class JobLauncherDemo implements StepExecutionListener {
    @Autowired
    private JobBuilderFactory jobBuilderFactory;

    @Autowired
    private StepBuilderFactory stepBuilderFactory;

    private Map<String, JobParameter> parameter;

    @Bean
    public Job jobLauncherDemoJob(){
        String jobName = "jobLauncherDemoJob_"+ DateUtil.format(new Date(), "yyyy_MM_DD_HH_mm_ss");
        return jobBuilderFactory.get(jobName)
                .start(jobLauncherDemoStep())
                .build();
    }

    @Bean
    public Step jobLauncherDemoStep() {
        return stepBuilderFactory.get("jobLauncherDemoStep")
                .listener(this)     //注意这里需要加入侦听
                .tasklet(new Tasklet() {
                    @Override
                    public RepeatStatus execute(StepContribution stepContribution, ChunkContext chunkContext) throws Exception {
                        log.info(parameter.get("msg").getValue().toString());
                        return RepeatStatus.FINISHED;
                    }
                }).build();
    }

    @Override
    public void beforeStep(StepExecution stepExecution) {
        parameter = stepExecution.getJobParameters().getParameters();
    }

    @Override
    public ExitStatus afterStep(StepExecution stepExecution) {
        return null;
    }
}
2.创建controller

这个controller用来接收参数，并且把参数传递给step中


import org.springframework.batch.core.Job;
import org.springframework.batch.core.JobParameters;
import org.springframework.batch.core.JobParametersBuilder;
import org.springframework.batch.core.JobParametersInvalidException;
import org.springframework.batch.core.launch.JobLauncher;
import org.springframework.batch.core.repository.JobExecutionAlreadyRunningException;
import org.springframework.batch.core.repository.JobInstanceAlreadyCompleteException;
import org.springframework.batch.core.repository.JobRestartException;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.PathVariable;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

/**
 * Description:
 * User: liu
 * Date: 2021-10-17
 * Time: 15:11
 */

@RestController
public class jobLauncherDemoController {

    @Autowired
    private JobLauncher jobLauncher;

    @Autowired
    private Job jobLauncherDemoJob;

    @RequestMapping("/job/{msg}")
    public String JobRunController(@PathVariable String msg) throws JobParametersInvalidException,
            JobExecutionAlreadyRunningException, JobRestartException, JobInstanceAlreadyCompleteException {
        //把接收到的参数值传个任务
        JobParameters jobParametes = new JobParametersBuilder()
                .addString("msg",msg)
                .toJobParameters();

        jobLauncher.run(jobLauncherDemoJob,jobParametes);

        return "success";

    }
}
3.创建springboot启动类
import org.springframework.batch.core.configuration.annotation.EnableBatchProcessing;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;

@SpringBootApplication
@EnableBatchProcessing
public class OpPlatformSpringbootbatchApplication {

    public static void main(String[] args) {
        SpringApplication.run(OpPlatformSpringbootbatchApplication.class, args);
    }

}
4.请求地址

输入请求地址;

http://localhost:8080/job/我是测试的

5.运行结果

可以在日志中看到，通过url中传递的参数被成功打印。
在这里插入图片描述

3.读取文件写数据库

1.新建Job和Step类


import org.springframework.batch.core.Job;
import org.springframework.batch.core.Step;
import org.springframework.batch.core.configuration.annotation.EnableBatchProcessing;
import org.springframework.batch.core.configuration.annotation.JobBuilderFactory;
import org.springframework.batch.core.configuration.annotation.StepBuilderFactory;
import org.springframework.batch.item.ItemReader;
import org.springframework.batch.item.ItemWriter;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Qualifier;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

/**
 * Description:
 * User: little
 * Date: 2021-12-13
 * Time: 00:13
 */

@Configuration
@EnableBatchProcessing
public class ItemWriteDbDemo {


    @Autowired
    private JobBuilderFactory jobBuilderFactory;

    @Autowired
    private StepBuilderFactory stepBuilderFactory;


    @Autowired
    @Qualifier("itemWriteDbDemoWrite")
    ItemWriter<? super JdqqgUser> itemWriteDbDemoWrite;


    @Autowired
    @Qualifier("itemWriteDbDemoRead")
    ItemReader<JdqqgUser> itemWriteDbDemoRead;

    @Bean
    public Job itemWriteDbDemoJob(){
        String jobName = "itemWriteDbDemoJob"+System.currentTimeMillis();
        return jobBuilderFactory.get(jobName)
                .start(itemWriteDbDemoStep())
                .build();

    }

    @Bean
    public Step itemWriteDbDemoStep() {

        return stepBuilderFactory.get("itemWriteDbDemoStep")
                .<JdqqgUser,JdqqgUser>chunk(10)
                .writer(itemWriteDbDemoWrite)
                .reader(itemWriteDbDemoRead)
                .build();
    }
}

2.reader实现类


import org.springframework.batch.item.file.FlatFileItemReader;
import org.springframework.batch.item.file.mapping.DefaultLineMapper;
import org.springframework.batch.item.file.mapping.FieldSetMapper;
import org.springframework.batch.item.file.transform.DelimitedLineTokenizer;
import org.springframework.batch.item.file.transform.FieldSet;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.core.io.ClassPathResource;
import org.springframework.core.io.FileSystemResource;
import org.springframework.validation.BindException;

import java.io.File;

/**
 * Description:
 * User: liuhongtao
 * Date: 2021-12-13
 * Time: 00:18
 */

@Configuration
public class ItemWriteDbDemoReadConfig {

    @Bean
    public FlatFileItemReader<JdqqgUser> itemWriteDbDemoRead(){
        FlatFileItemReader<JdqqgUser> reader = new FlatFileItemReader<>();
//        reader.setResource(new ClassPathResource("resources/jdqqg_user.txt"));
//        File file = new File(filePath);

        reader.setResource(new FileSystemResource("/abcd/jdqqg_user.txt"));

        DelimitedLineTokenizer tokenizer = new DelimitedLineTokenizer();

        tokenizer.setNames(new String[]{"id","vxNickname","phone","lastNum"});

        DefaultLineMapper<JdqqgUser> mapper = new DefaultLineMapper();
        mapper.setLineTokenizer(tokenizer);
        mapper.setFieldSetMapper(new FieldSetMapper<JdqqgUser>() {
            @Override
            public JdqqgUser mapFieldSet(FieldSet fieldSet) throws BindException {
                JdqqgUser JdqqgUser = new JdqqgUser();
//                JdqqgUser.setId(fieldSet.readLong("id"));
                JdqqgUser.setVxNickname(fieldSet.readString("vxNickname"));
                JdqqgUser.setPhone(fieldSet.readString("phone"));
                JdqqgUser.setLastNum(fieldSet.readString("lastNum"));

                return JdqqgUser;
            }
        });
        mapper.afterPropertiesSet();
        reader.setLineMapper(mapper);
        return reader;
    }
}

3.writer实现类


import org.springframework.batch.item.database.BeanPropertyItemSqlParameterSourceProvider;
import org.springframework.batch.item.database.JdbcBatchItemWriter;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

import javax.sql.DataSource;

/**
 * Description:
 * User: liu
 * Date: 2021-12-13
 * Time: 00:17
 */

@Configuration
public class ItemWriteDbDemoWriteConfig {

    @Autowired
    private DataSource datasource;

    @Bean
    public JdbcBatchItemWriter<JdqqgUser> itemWriteDbDemoWrite(){
        JdbcBatchItemWriter<JdqqgUser> writer = new JdbcBatchItemWriter<JdqqgUser>();
        writer.setDataSource(datasource);
        writer.setSql("insert into jdqqg_user(id,vx_nickname,phone,last_num) values (:id,:vxNickname,:phone,:lastNum) ");

        writer.setItemSqlParameterSourceProvider(new BeanPropertyItemSqlParameterSourceProvider<>());

        return writer;
    }
}

4.实体类


import java.util.Date;

public class JdqqgUser {

  private long id;
  private String vxName;
  private String vxNickname;
  private String phone;
  private String lastNum;
  private String des;
  private Date createTime;
  private Date updateTime;


  public long getId() {
    return id;
  }

  public void setId(long id) {
    this.id = id;
  }


  public String getVxName() {
    return vxName;
  }

  public void setVxName(String vxName) {
    this.vxName = vxName;
  }

  public String getVxNickname() {
    return vxNickname;
  }

  public void setVxNickname(String vxNickname) {
    this.vxNickname = vxNickname;
  }


  public String getPhone() {
    return phone;
  }

  public void setPhone(String phone) {
    this.phone = phone;
  }

  public String getLastNum() {
    return lastNum;
  }

  public void setLastNum(String lastNum) {
    this.lastNum = lastNum;
  }

  public String getDes() {
    return des;
  }

  public void setDes(String des) {
    this.des = des;
  }

  public Date getCreateTime() {
    return createTime;
  }

  public void setCreateTime(Date createTime) {
    this.createTime = createTime;
  }

  public Date getUpdateTime() {
    return updateTime;
  }

  public void setUpdateTime(Date updateTime) {
    this.updateTime = updateTime;
  }
}

5.数据库sql

create table jdqqg_user
(
    id          int auto_increment,
    vx_name     varchar(200) null comment '微信号',
    vx_nickname varchar(200) null comment '微信昵称',
    phone       varchar(50)  null comment '手机号',
    last_num    varchar(50)  null comment '手机尾号',
    des         varchar(500) null comment '描述',
    create_time datetime     null,
    update_time datetime     null,
    constraint jdqqg_user_id_uindex
        unique (id)
)
    comment '京东区区购用户' collate = utf8mb4_unicode_ci;

alter table jdqqg_user
    add primary key (id);

6.数据文件

1,霸王龙,185-xxxx-xxxx,7845
2,霸王龙爸爸,1x4-xxxx-xxxx,8563
3,卓尼老师,156-xxxx-xxx,4493
4,小芳,13X-xxxx-xxxx,1480
5,芳草地,1xx-xxxx-xxxx,1028
7,* 小雪 *,102-xxxx-xxxx,158x
8,东北大汉,xxxx-xxxx-xxxx,abd
9,写文章,1xx-xxxx-xxxx,cccc
10,老张,1xx-xxxx-xxxx,1199
11,一直赢,xxx-xx21-4xx3,4444

7.修改配置

修改application.properties文件中的配置，让程序启动就运行job

#spring.batch.job.enabled=false

参考

https://www.bilibili.com/video/BV1UJ411v7VA?p=1&vd_source=6d74db55b4cae34a8e57e32c685aa65b

taotao6086
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spring-batch参数传递
lewenson的博客
09-08 3975
1.JobParameters 在调用JOB的时候设置JOB的全局参数，可在JOB执行过程的各个地方获取。 如下代码所示，在调用JOB是设置JobParameters package com.flight.neon.batch.demo.test; import org.junit.Test; import org.junit.runner.RunWith; import org.springframework.batch.core.Job; import org.springframework.
SpringBatch(8):利用StepExecutionListener传递Job参数
不积跬步，无以至千里
09-13 1313
Step在执行时，需要一些参数，如何给Step传递参数？
Step之间传递数据
u010502101的博客
03-20 4309
Step之间传递数据有两种方式：一、通过step_execution 或者 job_execution来在不同step中传递数据.但是如果数据量大的话,这将不是一种好的方式.因为spring batch默认会通过job repository将 setp_execution和job_execution进行持久化。 如果把要传递的数据放在setp_execution或者job_execution中进行传
Kotlin中的集合函数
mg2flyingff的博客
07-01 2245
本文会介绍一些 Kotlin 集合函数，这些函数可以极大地提高我们的开发效率，可以作为小抄随时翻阅~
Kotlin 集合函数锦集
heiyl的专栏
06-01 1591
自从Kotlin官宣为Android开发首选语言后，大家也都正计划很快转向Kotlin或者已经完全转向Kotlin，接下来我们直奔主题了。我们在Android应用程序中研发过程中，对于 l...
Spring Batch批处理框架
11-16
Spring Batch是一个开源的轻量级批处理框架，它提供了一整套可复用的组件，用于构建健壮且高效的批处理应用程序。由于信息给定的【部分内容】并没有提供实际的技术细节，因此我将基于Spring Batch框架本身，详细介绍...
springBoot+springBatch批量处理数据demo
02-29
SpringBoot和SpringBatch是两个非常重要的Java开发框架，它们在企业级应用开发中扮演着重要角色。SpringBoot简化了Spring应用程序的配置和启动过程，而SpringBatch则专注于批处理任务，提供了一套全面且可扩展的解决...
Spring batch
08-21
Spring Batch 是一个强大的、全面的批处理框架，它由 Spring 社区开发并维护，用于构建企业级的批量处理应用。这个项目的核心目标是提供一套简单易用的API和基础设施，帮助开发者处理大规模数据的批处理任务。在给定...
SPRINGBATCH全家桶
最新发布
10-30
SpringBatch 是一个全面的批处理框架，由 Spring 社区开发并维护，它为构建高效、可重用和可管理的批处理应用提供了强大的支持。这个"SPRINGBATCH全家桶"很可能包含了SpringBatch框架的源码、示例、文档等资源，用于...
springbatch 详解PDF附加 全书源码 压缩包
07-13
**Spring Batch 深度解析** Spring Batch 是一个强大的、全面的批处理框架，由 Spring 社区开发，旨在简化企业级应用中的批量数据处理任务。这个框架提供了一种标准的方式来处理大量的数据输入和输出，使得开发者...
spring batch demo
06-14
Spring Batch 是一个强大的Java批处理框架，用于处理大量数据处理任务。它被广泛应用于企业级应用，尤其是在大数据处理、报表生成、系统迁移等场景。这个"spring batch demo"提供了使用Spring Batch实现批处理操作的...
pro spring batch 源码
09-21
Spring Batch 是一个强大的开源批处理框架，用于处理大量数据，尤其在企业级应用中广泛应用。它为批量处理任务提供了全面的解决方案，包括读取、处理和写入数据，以及事务管理、错误处理和作业调度。"Pro Spring ...
详细spring batch资料
10-02
Spring Batch 是一个强大的Java框架，专门用于处理批量处理任务。它是Spring生态系统的组成部分，提供了大量功能，如事务管理、错误处理、作业跟踪和监控。在本文中，我们将深入探讨Spring Batch的基本概念、核心...
Spring Boot整合Spring Batch，实现批处理
03-06
在Java开发领域，Spring Boot和Spring Batch的整合是构建高效批处理系统的一种常见方式。Spring Boot以其简洁的配置和快速的启动能力深受开发者喜爱，而Spring Batch作为Spring框架的一部分，专注于批量处理任务，...
spring batch : 在不同steps间传递数据
热门推荐
Evan's learning log
09-24 1万+
有两种方式: 1) 通过step_exe
SQLServer数据库mdf文件中了勒索病毒firex3m，扩展名变为mdf.firex3m
xinyu0203的博客
05-21 2165
** SQL Server数据库mdf文件中了勒索病毒firex3m，扩展名变为mdf.firex3m，导致公司金蝶，用友财务ERP软件不能使用。OA软件也不能使用。 ** 常见的扩展名如下： .firex3m .firex3m .firex3m .firex3m ***.ldf.firex3m ***.mdf.firex3m ***.ldf.firex3m ***.mdf.firex3m 解密...
【C语言】——总结一些经常使用的字符（串）函数
沉淀物
10-31 465
字符串函数的总结
百亿级图数据JanusGraph迁移之旅
大数据星球-浪尖
10-04 758
1. 迁移背景介绍目前我们的图数据库数据量为 顶点 20 亿，边 200 亿的规模。在迁移之前我们使用的 AgensGraph 数据库一个主库四个备库，机器的配置都比较高，256G 内存...
深入理解Spring Batch
"Spring Batch in Action 是一本关于Spring Batch的书籍，旨在介绍和深入探讨Spring Batch框架。这本书适合想要理解和掌握Spring Batch的开发者，通过它能学习到如何在实际项目中进行批处理任务的开发与管理。" ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值