Java实战：Spring Boot与Spring Batch结合实现批处理任务

最新推荐文章于 2024-10-13 14:32:27 发布

拥抱AI

最新推荐文章于 2024-10-13 14:32:27 发布

阅读量2.5k

点赞数 38

文章标签： java spring spring boot

本文链接：https://blog.csdn.net/oandy0/article/details/136463949

版权

引言

批处理是现代企业级应用中不可或缺的功能模块，主要用于处理大批量数据的迁移、转化、校验等任务。Spring Batch作为Spring家族的一员，以其完善的批处理功能深受开发者喜爱。结合Spring Boot的强大自动化配置和快速启动能力，我们可以轻松构建出高效、稳定且易于维护的批处理应用。本文将详细介绍如何在Spring Boot项目中集成Spring Batch，并通过一个具体示例展示如何实现批处理任务。

一、Spring Batch简介与优势

Spring Batch是一款专注于批处理任务的开源框架，它提供了许多开箱即用的功能，如：数据读取（ItemReader）、数据处理（ItemProcessor）、数据写出（ItemWriter）、事务管理、作业重启、跳过策略、步进式处理等。借助Spring Batch，开发者可以专注于业务逻辑，而非底层批处理基础设施的实现。

二、Spring Boot整合Spring Batch

添加依赖
在Spring Boot项目中引入Spring Batch的起步依赖：

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-batch</artifactId>
</dependency>

配置Spring Batch
Spring Boot会自动配置Spring Batch的核心组件，如JobRepository和JobLauncher。只需要在application.properties中配置数据源即可：
```
spring.datasource.url=jdbc:mysql://localhost:3306/batch_db
spring.datasource.username=batch_user
spring.datasource.password=secret
```

三、批处理任务的具体实现

定义Item（业务对象）
首先，我们需要定义业务对象，这个对象将作为批处理过程中读取、处理和写出的数据载体。例如，如果我们要处理CSV文件中的用户数据，可以创建一个User类：
```
public class User {
    private String id;
    private String name;
    private String email;
    // 构造函数、getter/setter省略...
}
```

实现ItemReader与ItemWriter
接下来，编写ItemReader和ItemWriter来读取和写出用户数据。

@Bean
public FlatFileItemReader<User> reader(@Value("${input.file.path}") String filePath) {
    return new FlatFileItemReaderBuilder<User>()
            .name("userItemReader")
            .resource(new FileSystemResource(filePath))
            .delimited()
            .names(new String[]{"id", "name", "email"})
            .targetType(User.class)
            .build();
}

@Bean
public ItemWriter<User> writer(JdbcBatchItemWriter<User> jdbcItemWriter) {
    return jdbcItemWriter;
}

@Bean
public JdbcBatchItemWriter<User> jdbcItemWriter(DataSource dataSource) {
    return new JdbcBatchItemWriterBuilder<User>()
            .itemSqlParameterSourceProvider(new BeanPropertyItemSqlParameterSourceProvider<>())
            .sql("INSERT INTO users(id, name, email) VALUES (:id, :name, :email)")
            .dataSource(dataSource)
            .build();
}

定义ItemProcessor（业务逻辑处理器）
如果需要对读取的数据进行处理，可以创建一个ItemProcessor：

@Component
public class UserProcessor implements ItemProcessor<User, User> {
    @Override
    public User process(User user) {
        // 示例：邮件地址验证和格式化
        if (!isValidEmail(user.getEmail())) {
            throw new NonTransientResourceException("Invalid email address: " + user.getEmail());
        }
        user.setEmail(formatEmail(user.getEmail()));
        return user;
    }

    // 邮箱验证和格式化方法实现...
}

定义Job和Step
创建Job和Step，将读取、处理和写出逻辑组合在一起。

@Configuration
@EnableBatchProcessing
public class BatchConfig {

    @Autowired
    private JobBuilderFactory jobs;

    @Autowired
    private StepBuilderFactory steps;

    @Bean
    public Job importUserJob(JobCompletionNotificationListener listener, Step step1) {
        return jobs.get("importUserJob")
                .incrementer(new RunIdIncrementer())
                .listener(listener)
                .flow(step1)
                .end()
                .build();
    }

    @Bean
    public Step step1(ItemReader<User> reader, ItemProcessor<User, User> processor, ItemWriter<User> writer) {
        return steps.get("step1")
                .<User, User>chunk(10)
                .reader(reader)
                .processor(processor)
                .writer(writer)
                .faultTolerant()
                .skip(NonTransientResourceException.class)
                .skipLimit(10)
                .build();
    }
}

启动批处理任务
最后，在Controller或CommandLineRunner中启动批处理任务：

@RestController
public class BatchController {

    @Autowired
    private JobLauncher jobLauncher;

    @Autowired
    private Job importUserJob;

    @PostMapping("/run-job")
    public ResponseEntity<?> runJob() {
        JobParameters jobParameters = new JobParametersBuilder()
                .addString("date", LocalDateTime.now().toString())
                .toJobParameters();

        try {
            JobExecution execution = jobLauncher.run(importUserJob, jobParameters);
            return ResponseEntity.ok(execution.getStatus());
        } catch (Exception e) {
            return ResponseEntity.status(HttpStatus.INTERNAL_SERVER_ERROR).body(e.getMessage());
        }
    }
}