Spring Batch之命令行执行Job（九）

最新推荐文章于 2024-04-26 20:19:53 发布
最新推荐文章于 2024-04-26 20:19:53 发布
阅读量2k 收藏 1
点赞数
分类专栏： Spring Batch 文章标签： batch spring
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_21370419/article/details/121730905
版权

        Spring Batch提供通过命令行的方式执行Job的功能，通过命令行的方式可以在一个单独的JVM中执行批量处理作业。通过命令行的方式可以手动触发，也可以定义自动任务通过脚本的方式执行批处理作业。Spring Batch框架提供的命令行执行类：org.springframework.batch.core.launch.support.CommandLineJobRunner.

CommandLineJobRunner参数说明如下：

java -classpath “xxx” CommandLineJobRunner jobPath <options> jobIdentifier(jobParameters)

  • jobPath:CommandLineJobRunner默认使用ClassPathXmlApplicationContext从当前的classpath中加载配置文件。
  • options:可选的参数，支持参数包括-restart、-stop、-abandon、-next。

        -restart      根据jobIdentifier重启最后一次失败的作业

        -stop          根据jobIdentifier停止正在执行的作业

        -abandon   根据jobIdentifier废弃stopped的作业

        -next          根据JobParametersIncrementer执行下一个作业

  • jobIdentifier：作业的名字，即Spring配置文件中配置的Job的Bean ID,或者是job execution的id(当使用-restart、-stop、-abandon时候，需要传入job execution的id)。
  • job Parameters：作业参数可以有0到多个，其支持的类型为String，Date，Long，Double。

一、项目架构

   

二、代码实现

CreditBill.java:

package com.xj.demo8;

/**
 * @Author : xjfu
 * @Date : 2021/12/05 19:27
 * @Description :demo8的CreditBill
 */
public class CreditBill {
    //银行卡账户ID
    private String accountID = "";
    //持卡人姓名
    private String name = "";
    //消费金额
    private double amount = 0;
    //消费日期
    private String date = "";
    //消费场所
    private String address = "";

   
    get和set方法....
}

CreditBillProcessor.java:

package com.xj.demo8;

import org.springframework.batch.item.ItemProcessor;

/**
 * @Author : xjfu
 * @Date : 2021/12/05 19:29
 * @Description :demo8的处理类
 */
public class CreditBillProcessor implements ItemProcessor<CreditBill, CreditBill> {
    @Override
    public CreditBill process(CreditBill bill) throws Exception {

        System.out.println(bill.toString());
        //做一些简单的处理
        bill.setAccountID(bill.getAccountID() + "1");
        bill.setName(bill.getName() + "2");
        bill.setAmount(bill.getAmount() + 3);
        bill.setDate(bill.getDate() + "4");
        bill.setAddress(bill.getAddress() + 5);

        return bill;
    }
}

demo8-inputFile.csv:

4101231234656,tom,100.00,2013-12-31 12:00:08,Lu lit
4101236543210,tom,120.00,2013-12-31 12:00:08,Lu Zui

demo8-inputFile2.csv:

4101231234656,Junne,100.00,2013-12-31 24:00:08,Lu lit
4101236543210,Junne,120.00,2013-12-31 24:00:08,Lu Zui

demo8-job.xml:

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:batch="http://www.springframework.org/schema/batch"
       xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd http://www.springframework.org/schema/batch http://www.springframework.org/schema/batch/spring-batch.xsd">

    <!--导入文件-->
    <import resource="classpath:demo8/job/demo8-jobContext.xml"/>

    <!--定义名字为billJob的作业-->
    <batch:job id="billJob">
        <!--定义名字为billStep的作业步-->
        <batch:step id="billStep">
            <batch:tasklet transaction-manager="transactionManager">
                <!--定义读、处理、写操作，规定每处理两条数据，进行一次写入操作，这样可以提高写的效率-->
                <batch:chunk reader="csvItemReader" processor="creditBillProcessor" writer="csvItemWriter"   commit-interval="2">
                </batch:chunk>
            </batch:tasklet>
        </batch:step>
    </batch:job>
</beans>

demo8-jobContext.xml:

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:batch="http://www.springframework.org/schema/batch"
       xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd http://www.springframework.org/schema/batch http://www.springframework.org/schema/batch/spring-batch.xsd">

    <!--定义作业仓库 Job执行期间的元数据存储在内存中-->
    <bean id="jobRepository" class="org.springframework.batch.core.repository.support.MapJobRepositoryFactoryBean"/>

    <!--定义作业调度器，用来启动job-->
    <bean id="jobLauncher" class="org.springframework.batch.core.launch.support.SimpleJobLauncher">
        <!--注入jobRepository-->
        <property name="jobRepository" ref="jobRepository"/>
    </bean>

    <!--定义事务管理器，用于Spring Batch框架中对数据操作提供事务能力-->
    <bean id="transactionManager" class="org.springframework.batch.support.transaction.ResourcelessTransactionManager"/>

    <!--读取信用卡账单文件，CSV 格式-->
    <!--使用FlatFileItemReader读文本文件-->
    <bean id="csvItemReader" class="org.springframework.batch.item.file.FlatFileItemReader" scope="step">
        <!--指定读取的资源文件-->
        <property name="resource" value="classpath:demo8/data/demo8-inputFile.csv"/>
        <!--通过lineMapper把文本中的一行转换为领域对象creditBill-->
        <property name="lineMapper">
            <bean class="org.springframework.batch.item.file.mapping.DefaultLineMapper">
                <!--lineTokenizer定义文本中每行的分隔符号-->
                <property name="lineTokenizer" ref="lineTokenizer"/>
                <!--fieldSetMapper定义了转换结果映射,即具体映射到哪个Java类对象-->
                <property name="fieldSetMapper">
                    <bean class="org.springframework.batch.item.file.mapping.BeanWrapperFieldSetMapper">
                        <property name="prototypeBeanName" value="creditBill"/>
                    </bean>
                </property>
            </bean>
        </property>
    </bean>

    <!--lineTokenizer-->
    <bean id="lineTokenizer" class="org.springframework.batch.item.file.transform.DelimitedLineTokenizer">
        <!--按","符号对行进行切割-->
        <property name="delimiter" value=","/>
        <!--属性名称列表,将切割后的行按顺序投入-->
        <property name="names">
            <list>
                <value>accountID</value>
                <value>name</value>
                <value>amount</value>
                <value>date</value>
                <value>address</value>
            </list>
        </property>
    </bean>

    <!--注入实体类-->
    <bean id="creditBill" class="com.xj.demo8.CreditBill" scope="prototype"></bean>

    <!--数据处理类-->
    <bean id="creditBillProcessor" class="com.xj.demo8.CreditBillProcessor" scope="step"></bean>

    <!--写信用卡账单文件，CSV格式-->
    <bean id="csvItemWriter" class="org.springframework.batch.item.file.FlatFileItemWriter" scope="step">
        <!--要写入的文件位置,因为[classpath:]不是一个具体的目录,这里应当用[file:](从项目根目录开始)指明输出位置-->
        <property name="resource" value="file:src/main/resources/demo8/data/demo8-outputFile.csv"/>
        <!--[lineAggregator成员]指明行聚合器,用来将对象输出到文件时构造文件中的每行的格式-->
        <property name="lineAggregator">
            <!--这里使用Spring Batch自带的DelimitedLineAggregator来作为行聚合器(可以拼接一个个属性形成行)-->
            <bean class="org.springframework.batch.item.file.transform.DelimitedLineAggregator">
                <!--使用","拼接-->
                <property name="delimiter" value=","/>
                <!--fieldExtractor成员用来将Java类的属性组成的数组拼接成行字符串-->
                <property name="fieldExtractor">
                    <bean class="org.springframework.batch.item.file.transform.BeanWrapperFieldExtractor">
                        <property name="names" value="accountID,name,amount,date,address">
                        </property>
                    </bean>
                </property>
            </bean>
        </property>
    </bean>
</beans>

demo8-jobContext2.xml:

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:batch="http://www.springframework.org/schema/batch"
       xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd http://www.springframework.org/schema/batch http://www.springframework.org/schema/batch/spring-batch.xsd">

    <!--定义作业仓库 Job执行期间的元数据存储在内存中-->
    <bean id="jobRepository" class="org.springframework.batch.core.repository.support.MapJobRepositoryFactoryBean"/>

    <!--定义作业调度器，用来启动job-->
    <bean id="jobLauncher" class="org.springframework.batch.core.launch.support.SimpleJobLauncher">
        <!--注入jobRepository-->
        <property name="jobRepository" ref="jobRepository"/>
    </bean>

    <!--定义事务管理器，用于Spring Batch框架中对数据操作提供事务能力-->
    <bean id="transactionManager" class="org.springframework.batch.support.transaction.ResourcelessTransactionManager"/>

    <!--读取信用卡账单文件，CSV 格式-->
    <!--使用FlatFileItemReader读文本文件-->
    <bean id="csvItemReader" class="org.springframework.batch.item.file.FlatFileItemReader" scope="step">
        <!--指定读取的资源文件-->
        <property name="resource" value="#{jobParameters['inputResource']}"/>
        <!--通过lineMapper把文本中的一行转换为领域对象creditBill-->
        <property name="lineMapper">
            <bean class="org.springframework.batch.item.file.mapping.DefaultLineMapper">
                <!--lineTokenizer定义文本中每行的分隔符号-->
                <property name="lineTokenizer" ref="lineTokenizer"/>
                <!--fieldSetMapper定义了转换结果映射,即具体映射到哪个Java类对象-->
                <property name="fieldSetMapper">
                    <bean class="org.springframework.batch.item.file.mapping.BeanWrapperFieldSetMapper">
                        <property name="prototypeBeanName" value="creditBill"/>
                    </bean>
                </property>
            </bean>
        </property>
    </bean>

    <!--lineTokenizer-->
    <bean id="lineTokenizer" class="org.springframework.batch.item.file.transform.DelimitedLineTokenizer">
        <!--按","符号对行进行切割-->
        <property name="delimiter" value=","/>
        <!--属性名称列表,将切割后的行按顺序投入-->
        <property name="names">
            <list>
                <value>accountID</value>
                <value>name</value>
                <value>amount</value>
                <value>date</value>
                <value>address</value>
            </list>
        </property>
    </bean>

    <!--注入实体类-->
    <bean id="creditBill" class="com.xj.demo8.CreditBill" scope="prototype"></bean>

    <!--数据处理类-->
    <bean id="creditBillProcessor" class="com.xj.demo8.CreditBillProcessor" scope="step"></bean>

    <!--写信用卡账单文件，CSV格式-->
    <bean id="csvItemWriter" class="org.springframework.batch.item.file.FlatFileItemWriter" scope="step">
        <!--要写入的文件位置,因为[classpath:]不是一个具体的目录,这里应当用[file:](从项目根目录开始)指明输出位置-->
        <property name="resource" value="#{jobParameters['outputResource']}"/>
        <!--[lineAggregator成员]指明行聚合器,用来将对象输出到文件时构造文件中的每行的格式-->
        <property name="lineAggregator">
            <!--这里使用Spring Batch自带的DelimitedLineAggregator来作为行聚合器(可以拼接一个个属性形成行)-->
            <bean class="org.springframework.batch.item.file.transform.DelimitedLineAggregator">
                <!--使用","拼接-->
                <property name="delimiter" value=","/>
                <!--fieldExtractor成员用来将Java类的属性组成的数组拼接成行字符串-->
                <property name="fieldExtractor">
                    <bean class="org.springframework.batch.item.file.transform.BeanWrapperFieldExtractor">
                        <property name="names" value="accountID,name,amount,date,address">
                        </property>
                    </bean>
                </property>
            </bean>
        </property>
    </bean>
</beans>

pom.xml:

    <groupId>com.xj</groupId>
    <artifactId>spring-batch</artifactId>
    <version>1.0-SNAPSHOT</version>
    <build>
        <plugins>
            <plugin>
                <!--使用org.apache.maven.plugins.maven-dependency-plugin打包-->
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-dependency-plugin</artifactId>
                <version>2.5.1</version>
                <!--是否从该插件下载Maven扩展（例如打包和类型处理器），由于性能原因，只有在真需要下载时，默认为false-->
                <executions>
                    <!--execution元素包含了插件执行需要的信息-->
                    <execution>
                        <!--执行目标的标识符，用于标识构建过程中的目标，或者匹配继承过程中需要合并的执行目标-->
                        <id>copy-dependencies</id>
                        <!--绑定了目标的构建生命周期阶段，即声明goals执行的时期。如果省略，目标会被绑定到源数据里配置的默认阶段-->
                        <phase>package</phase>
                        <!--配置的执行目标-->
                        <goals>
                            <!--要执行的goal，即copy-dependencies,将所有依赖项复制到target/dependency-jars中-->
                            <goal>copy-dependencies</goal>
                        </goals>
                        <configuration>
                            <!--打包文件输出路径-->
                            <outputDirectory>
                                ${project.build.directory}/dependency-jars/
                            </outputDirectory>
                        </configuration>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>

使用Maven将您的项目打包到单个jar文件– target / your-project.jar中 ，然后将所有依赖项复制到target / dependency-jars /中 。

三、项目打包

四、运行结果

根据配置情况输入指令：

java -classpath "target/dependency-jars/*;target/spring-batch-1.0-SNAPSHOT.jar" org.springframework.batch.core.launch.support.CommandLineJobRunner demo8/job/demo8-job.xml billJob

注意：这里是windows系统的话，分隔符用“;”，如果是Linux系统的话，就用“:”。

五、添加额外参数运行方式

        将demo8-job.xml文件中的导入文件变更为配置文件demo8-jobContext2.xml，然后重新使用maven打包，即package一下。

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:batch="http://www.springframework.org/schema/batch"
       xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd http://www.springframework.org/schema/batch http://www.springframework.org/schema/batch/spring-batch.xsd">

    <!--导入文件-->
    <import resource="classpath:demo8/job/demo8-jobContext2.xml"/>

        . . . . . . . . .
</beans>

根据配置情况输入指令：

java -classpath "target/dependency-jars/*;target/spring-batch-1.0-SNAPSHOT.jar" org.springframework.batch.core.launch.support.CommandLineJobRunner demo8/job/demo8-job.xml billJob inputResource(string)=demo8/data/demo8-inputFile2.csv outputResource(string)=file:src/main/resources/demo8/data/demo8-outputFile2.csv date(string)=2021/12/06

注意，其中“String”都改为“string”。

运行代码：

六、注意事项

        使用CommandLineJobRunner进行命令行执行过程中，spring对CommandLineJobRunner中的依赖全部使用基于类型的自动装配。例如CommandLineJobRunner中的属性launcher，Spring会自动基于类型的JobLauncher进行装配，如果没有JobLauncher的定义或者有多个定义都会导致错误。

七、参考文献

1.使用CommandLineJobRunner运行Spring批处理作业_一名可爱的技术搬运工-CSDN博客

2.Run Spring batch job with CommandLineJobRunner(三) - yzhming - 博客园

人……杰
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
使用CommandLineJobRunner运行Spring批处理作业
一名可爱的技术搬运工
05-25 1045
向您展示如何使用CommandLineJobRunner运行Spring批处理作业的快速指南。 1. Spring批处理作业示例 一个简单的工作。 资源/spring/batch/jobs/job-read-files.xml <?xml version="1.0" encoding="UTF-8"?> <beans ... <import reso...
ElasticJob与SpringBatch的结合使用
06-19
Elastic-Job + Spring Batch 可以实现数据的分布式处理并保证数据的顺序执行。
springbatch 详解PDF附加 全书源码 压缩包
07-13
spring batch批处理框架和对应的源码资源 rar 可以直接运行的
CommandLineRunner运行原理
绅士jiejie的博客
07-21 314
CommandLineRunner运行原理
SpringBatch系列文章-作业配置和运行-文章翻译
技术摸索和实践者
11-27 372
官网地址： https://docs.spring.io/spring-batch/docs/4.2.x/reference/html/job.html#configureJob，网页翻译工具翻译，官网有XML和JAVA配置两个版本，这里主要是JAVA版本。 批处理总体模型： 后面介绍Job的一些配置项。 作业配置Configuring a Job 该Job接口有多种实现，但是通过构建器可以消除配置差异。 这里用到了设计模式-构建模式 @Bean public Job footballJob() {
Spring Batch批量处理数据实战教程
11-15
本课程通过讲解Spring Batch的基础知识点以及一些实际的项目示例让大家熟悉如何使用Spring Batch进行大批量数据的同步、处理及转换等。
spring batch(二）：核心部分(2)Spring batch的启动
kanpiaoxue的专栏
01-16 893
 chapter 4、Running batch jobs  1、Spring Launch API：它的核心就是 JobLauncher 接口。 JobLauncher 的接口： public interface JobLauncher { public JobExecution run(Job job, JobParameters jobParameters) throws (…...
Spring Batch 如何健壮可重启可追溯 SKIP/RETRY/RESTART策略的应用
gmyzzzzz
11-26 8242
前提：你已经有了一定的Spring基础 你已经可以跑动一个简单的Spring batch 的实例 参考：Spring-Batch-In-Action 参考：http://www.cnblogs.com/gulvzhe/archive/2011/10/25/2224249.html 先盗几个图 JobLauncher  指定一个   JobRepository JobLauncher 指定一
Spring Batch 作业重启
langfeiyes的博客
02-06 965
了解Spring Batch 作业启动方式后，接下来一起学习一下Spring Batch作业重启逻辑。
Spring Boot整合Spring Batch，实现批处理
03-06
Spring Boot整合Spring Batch的一个小例子，在网上发现这方面的资源比较少，特此将其上传供大家学习。
springBoot+springBatch批量处理数据demo
02-29
最近在研究springBoot+springbatch ,按照官网的实例做了一个实例。 最近在研究springBoot+springbatch ,按照官网的实例做了一个实例。
Spring Batch批处理详解
02-02
2024最新!一文看懂Spring Batch批处理(大白话版,干货满满), 学习你将收获: 一.系统了解Spring Batch批处理; 二.项目中能熟练使用Spring Batch批处理
Linux命令-batch命令（在系统不繁忙的时候执行定时任务）
RisunJan的博客
02-10 649
batch命令 用于在指定时间，当系统不繁忙时执行任务，用法与at相似。日期时间：指定任务执行的日期时间。
SpringBoot项目打包分离高阶操作
Record Little
04-23 575
虽然传输jar包 比较大，但是安全性、稳定性比较高，不需要关注pom.xml 添加了新的依赖、更新了版本号等等影响版本功能的操作。关注maven的特性， profiles即可满足， 根据不同的activation 状态，激活不同的build操作。每次修改一小部分代码或仅仅更新某个依赖jar包时，都需要重新进行整个项目的构建、打包、上传和部署。但是当你的项目趋于稳定，只有业务上的逻辑变更时，如果使用分离版本，可以加快迭代、更新的速度。弊端： 需要配置IDE命令，修改依赖时需要同时修改2处。
mysql-connector-java和spring-boot-starter-jdbc和mybatis-spring-boot-start
xzy的博客
04-23 954
JDBC是使用java语言操作mysql数据库的规范，java语言必须按照这个规范写才可以操作mysql数据库。
SpringCloudAlibaba：2.1nacos
最新发布
m0_63040701的博客
04-26 494
Nacos是阿里巴巴开源的服务注册中心以及配置中心Nacos=注册中心Eureka + 服务配置Config + 服务总线Bus。
Spring声明式事务（@Transactional）原理之-ProxyTransactionManagementConfiguration
良月柒
04-26 512
在传统的编程模型中，我们需要在代码中显式地编写事务管理逻辑，包括事务的开始、提交、回滚等。而在声明式事务管理模型中，我们可以通过注解或者XML配置的方式，将事务管理逻辑与业务逻辑分离开来，使得我们只需要专注于业务逻辑的实现，而不需要关心事务管理的细节。@Transactional注解就是用来实现声明式事务管理的重要工具之一。
SpringCloud Ribbon介绍
赵先森
04-26 295
Ribbon 是 Spring Cloud 技术栈中非常重要的基础框架，它为 Spring Cloud 提供了负载均衡的能力，比如 Fegin 和 OpenFegin 都是基于 Ribbon 实现的，就连 Nacos 中的负载均衡也使用了 Ribbon 框架。
spring batch job重复执行
05-11
如果您的Spring Batch Job在重复执行，则可能有几个原因： 1. 作业实例未正确标记为已完成 Spring Batch会在内部维护一个作业实例表，以跟踪已完成的作业。如果作业实例未正确标记为已完成，则Spring Batch会认为...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值