justlpf的专栏

批处理任务的主要业务逻辑都是在Step中去完成的。可以将Job理解为运行Step的框架，而Step理解为业务功能。1、Step配置Step是Job中的工作单元，每一个Step涵盖了单行记录的处理闭环。StepReaderProcessorWriterStepStepChunkStep2、面向分片的处理过程StepReadProcessorWrite3、面向对象配置Step观察sampleStep方法：reader: 使用ItemReader提供读数据的方法。

1、什么是 Spring Batch1.1 介绍1.2 架构组件分类(应用层):包含开发者应用Spring-batch编写的所有批处理作业和自定义代码;Batch Core(核心层):包含加载和控制批处理作业所必需的核心类，它包含了Job,Step,JobLauncher的实现;(基础架构层)：基础架构层包含了Reader(ItemReader),Writer(ItemWriter),Services可以被应用层和核心层使用;1.3 优势丰富的开箱即用组件 开箱即用组件包括各种资源的读、写。

如图所示，在一个标准的批处理任务中组要涵盖的核心概念有JobLauncher、Job、Step，一个Job可以涵盖多个Step，一个Job对应一个启动的JobLauncher。数据校验：批处理是对大量数据进行处理，并且数据的来源千差万别，所以批处理的输入数据需要对数据的完整性性进行校验（比如校验字段数据是否缺失）。简单的说Job是封装一个批处理过程的实体，与其他的Spring项目类似，Job可以通过XML或Java类配置，称职为”Job Configuration“.如下图Job是单个批处理的最顶层。

1、引入2、Job配置JobJob2.1 重启（启动）配置Job。

Reader是指从各种各样的外部输入中获取数据，框架为获取各种类型的文件已经预定义了常规的Reader实现类。与BATCH_JOB_EXECUTION表关联的外键，详见数据批处理概念中Job、JobInstance、JobExecute的关系。关联到JobInstace的外键，详见数据批处理概念中Job、JobInstance、JobExecute的关系。执行过程中，事物提交的次数，该值与数据的规模以及chunk的设置有关。Job的名称，用于标记运行的Job，在创建Job时候指定。

参考：https://cloud.tencent.com/developer/article/1460745在Spring batch由上至下的结构中Job、Step都是属于框架级别的的功能，大部分时候都是提供一些配置选项给开发人员使用，而Item中的Reader、Processor和Writer是属于业务级别的，它开放了一些业务切入的接口。 但是文件的读写过程中有很多通用一致的功能Spring Batch为这些相同的功能提供了一致性实现类。扁平结构文件（也称为矩阵结构文件，后文简称为文件）是最常见的一种文

因此当数据写入与整个Step绑定为事物时还需要实现一个控制过程是：在写入数据的过程中出现异常时要擦除本次事物已经写入的数据，这样才能和整个Step的状态保持一致。，因为数据库的各种链接池本身就保证了链接->写入->释放的高效执行，也不存在向队尾添加数据的问题。Spring Batch为不同类型的文件的写入提供了多个实现类，但并没有为数据库的写入提供任何实现类，而是交由开发者自己去实现接口。因此，对于数据库的写入操作只要按照常规的批量数据写入的方式即可，开发者使用任何工具都可以完成这个过程。

由于实现接口的方式，需要把所有的接口内的方法都需要实现一遍，不太灵活，所以使用注解的方法建立监听器，会比较容易，即我们想使用哪一个监听器的监听方法，就在我们的逻辑方法上面，加上该监听器方法对应的注解即可。由于 Spring batch 的监听器有许多种，但创建方法都十分相似，所以这里只以 StepExecutionListener 为例子，来建立 Step 粒度的监听器。我们甚至可以只使用一个 Class 文件，把多种不同粒度的注解写入，这样就可以一个 class 监听器包含了多种监听器的多个监听方法。

数据块，给定数量的 item 集合，让 item 进行多次读和处理，当满足一定数量的时候再一次写入。子任务表， step 的一个事务过程，包含重复执行，同步 / 异步规则等。1.4 Spring batch 中的 job 的配置。1.2 Job 的实例定义，以及各个组件间的关系。1 Spring batch 的基本概念和配置。实际要执行的作业，包含一个或多个 step。1.3 spring batch 的配置。用于注册和存储 Job 的容器。Job 与 step 的关系图。从给定的数据源读取 item。

Reader、Processor、Writer 抛出未捕获 RuntimeException，当前 chunk 事务回滚，step 失败，job 失败。而 Spring batch 的事务配置也与之相同，除此之外，还可以在。配置中，直接指定好事务管理器，从而省略 2~3 的步骤。1、Spring batch 的事务处理机制。1.1 Spring batch 的事务简介。1.2 Spring batch 的事务配置。1.3 Spring batch 事务的使用。1.4 Spring batch 的容错机制。

restart是针对job来使用，是重启job的一个操作。默认情况下，当任务出现异常时，SpringBatch会结束任务，当使用相同参数重启任务时，SpringBatch会去执行未执行的剩余任务。retry是对job的某一step而言，处理一条数据item的时候发现有异常，则重试一次该数据item的step的操作。skip是对job的某一个step而言，处理一条数据item的时候发现有异常，则跳过该数据item的step的操作。当第一次执行时，程序在33行抛出异常异常，curline值是30；

下面按原理分步骤实施，完成springbatch的远程分区实例。2、spring batch远程分区Step的原理。3、springbatch的远程分区实例。3.3 Integration配置。3.2 Master节点数据分发。3.4 从节点接收分区信息并处理。如下ItemReader。3.1 引入相关依赖。

SpringBatch主要是一个轻量级的大数据量的并行处理(批处理)的框架。作用和Hadoop很相似，不过Hadoop是基于重量级的分布式环境(处理巨量数据)，而SpringBatch是基于轻量的应用框架(处理中小数据)。1.2 批处理的核心场景从某个位置读取大量的记录，位置可以是数据库、文件或者外部推送队列（MQ）。根据业务需要实时处理读取的数据。将处理后的数据写入某个位置，可以第一条一样，可是数据库、文件或者推送到队列。

在Spring批处理作业中，读取或处理后删除Flat文件的最佳方法是创建单独的Tasklet，并在作业结束时执行完处理后执行它。TaskletCSV随时修改FileDeletingTasklet内部的逻辑，以将文件归档到其他位置或实现自己的归档逻辑。

日志记录/跟踪、事务管理、作业处理统计信息、作业重新启动、跳过和资源管理大数据量和高性能的批处理任务分区功能、远程功能Spring Batch的结构图如下：JobRepository：用来注册job的容器JobLauncher：用来启动Job的接口Job：实际执行的任务，包含一个或多个StepStep：包含ItemReader、ItemProcessor和ItemWriterItemReader：用来读取数据的接口ItemProcessor：用来处理数据的接口。

在childJobOneStep()方法中，通过JobStepBuilder构建了一个名称为childJobOneStep的Step，顾名思义，它是一个任务型Step的构造工厂，可以将任务转换为“特殊”的步骤。chunk字面上的意思是“块”的意思，可以简单理解为数据块，泛型用于指定读取的数据和输出的数据类型，构造器入参指定了数据块的大小，比如指定为2时表示每当读取2组数据后做一次数据输出处理。Chunk里面就是不断循环的一个流程，读数据，处理数据，然后写数据。

faultTolerant().retryLimit(3).retry(Exception.class).skipLimit(100).skip(Exception.class). //捕捉到异常就重试,重试100次还是异常,JOB就停止并标志失败。writer(getDataWriter()). //指定ItemWriter build();start(handleDataStep()). //start是JOB执行的第一个step。

Spring Batch 步骤/作业的设计延续Spring传统设计模式，加入生命周期的概念，也就是说，步骤/作业也有执行前，执行中，执行后3个时间概念。执行前：一般用于初始化操作， 步骤/作业执行前需要着手准备工作，比如：各种连接建立，线程池初始化等。执行后：步骤/业务执行完后，需要做各种清理动作，比如释放资源等。创建对象交个Spring容器管理，修改job()方法，添加。需求：记录作业执行前，执行中，与执行后的状态。状态监听器，直接执行，观察结果。状态监听器，直接执行，观察结果。2.2方式二：注解方式。