从头认识SpringBatch批处理框架---JobRepository数据库存储元数据并分析存储元数据表

JobRepository存储执行期的元数据，提供两种默认实现,一种是存放在内存中,默认实现类为:MapJobRepositoryFactoryBean。在xml中的配置如下:

[html]  view plain  copy

 

1. <bean id="jobRepository"   
2.         class="org.springframework.batch.core.repository.support.MapJobRepositoryFactoryBean">  
3.     </bean>  

另一种是存入数据库中,可以随时监控批处理Job的执行状态,查看Job执行结果是成功还是失败,并且使得在Job失败的情况下重新启动Job成为可能。具体配置如下:

[html]  view plain  copy

 

1. <?xml version="1.0" encoding="UTF-8"?>  
2. <bean:beans xmlns="http://www.springframework.org/schema/batch"      
3.     xmlns:bean="http://www.springframework.org/schema/beans"   
4.     xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"      
5.     xmlns:p="http://www.springframework.org/schema/p"   
6.     xmlns:tx="http://www.springframework.org/schema/tx"      
7.     xmlns:aop="http://www.springframework.org/schema/aop"   
8.     xmlns:context="http://www.springframework.org/schema/context"      
9.     xsi:schemaLocation="http://www.springframework.org/schema/beans   
10.     http://www.springframework.org/schema/beans/spring-beans-3.0.xsd    
11.     http://www.springframework.org/schema/tx   
12.     http://www.springframework.org/schema/tx/spring-tx-3.0.xsd    
13.     http://www.springframework.org/schema/aop   
14.     http://www.springframework.org/schema/aop/spring-aop-3.0.xsd    
15.     http://www.springframework.org/schema/context   
16.     http://www.springframework.org/schema/context/spring-context-2.5.xsd  
17.     http://www.springframework.org/schema/batch   
18.     http://www.springframework.org/schema/batch/spring-batch-2.2.xsd">  
19.       
20.     <!-- 作业仓库 -->  
21.     <job-repository id="jobRepository" data-source="dataSource"  
22.         transaction-manager="transactionManager" isolation-level-for-create="SERIALIZABLE"  
23.         table-prefix="BATCH_" max-varchar-length="1000"  
24.     />  
25.       
26.     <!-- 作业调度器 -->  
27.     <bean:bean id="jobLauncher"   
28.         class="org.springframework.batch.core.launch.support.SimpleJobLauncher">  
29.         <bean:property name="jobRepository" ref="jobRepository"/>  
30.     </bean:bean>  
31.       
32.     <!-- 事务管理器 -->  
33.     <bean:bean id="transactionManager" class="org.springframework.jdbc.datasource.DataSourceTransactionManager">  
34.         <bean:property name="dataSource" ref="dataSource" />  
35.     </bean:bean>  
36.       
37.     <!-- 数据源 -->  
38.     <bean:bean id="dataSource" class="org.springframework.jdbc.datasource.DriverManagerDataSource">  
39.         <bean:property name="driverClassName">  
40.             <bean:value>com.mysql.jdbc.Driver</bean:value>  
41.         </bean:property>  
42.         <bean:property name="url">  
43.             <bean:value>jdbc:mysql://localhost:3306/mydatabase</bean:value>  
44.         </bean:property>  
45.         <bean:property name="username" value="root"></bean:property>  
46.         <bean:property name="password" value="wbw123456"></bean:property>  
47.     </bean:bean>  
48. </bean:beans>  

注意：在使用数据库的仓库时，需要初始化数据库表,数据库表脚本位置放在org\springframework\batch\spring-batch-core\3.0.6.RELEASE\spring-batch-core-3.0.6.RELEASE.jar目录下,并且针对不同的数据库提供了不同的数据库脚本

在这里我们选用schema-mysql.sql 具体的建表语句如下:

[java]  view plain  copy

 

1. -- Autogenerated: do not edit this file  
2.   
3. CREATE TABLE BATCH_JOB_INSTANCE  (  
4.     JOB_INSTANCE_ID BIGINT  NOT NULL PRIMARY KEY ,  
5.     VERSION BIGINT ,  
6.     JOB_NAME VARCHAR(100) NOT NULL,  
7.     JOB_KEY VARCHAR(32) NOT NULL,  
8.     constraint JOB_INST_UN unique (JOB_NAME, JOB_KEY)  
9. ) ENGINE=InnoDB;  
10.   
11. CREATE TABLE BATCH_JOB_EXECUTION  (  
12.     JOB_EXECUTION_ID BIGINT  NOT NULL PRIMARY KEY ,  
13.     VERSION BIGINT  ,  
14.     JOB_INSTANCE_ID BIGINT NOT NULL,  
15.     CREATE_TIME DATETIME NOT NULL,  
16.     START_TIME DATETIME DEFAULT NULL ,  
17.     END_TIME DATETIME DEFAULT NULL ,  
18.     STATUS VARCHAR(10) ,  
19.     EXIT_CODE VARCHAR(2500) ,  
20.     EXIT_MESSAGE VARCHAR(2500) ,  
21.     LAST_UPDATED DATETIME,  
22.     JOB_CONFIGURATION_LOCATION VARCHAR(2500) NULL,  
23.     constraint JOB_INST_EXEC_FK foreign key (JOB_INSTANCE_ID)  
24.     references BATCH_JOB_INSTANCE(JOB_INSTANCE_ID)  
25. ) ENGINE=InnoDB;  
26.   
27. CREATE TABLE BATCH_JOB_EXECUTION_PARAMS  (  
28.     JOB_EXECUTION_ID BIGINT NOT NULL ,  
29.     TYPE_CD VARCHAR(6) NOT NULL ,  
30.     KEY_NAME VARCHAR(100) NOT NULL ,  
31.     STRING_VAL VARCHAR(250) ,  
32.     DATE_VAL DATETIME DEFAULT NULL ,  
33.     LONG_VAL BIGINT ,  
34.     DOUBLE_VAL DOUBLE PRECISION ,  
35.     IDENTIFYING CHAR(1) NOT NULL ,  
36.     constraint JOB_EXEC_PARAMS_FK foreign key (JOB_EXECUTION_ID)  
37.     references BATCH_JOB_EXECUTION(JOB_EXECUTION_ID)  
38. ) ENGINE=InnoDB;  
39.   
40. CREATE TABLE BATCH_STEP_EXECUTION  (  
41.     STEP_EXECUTION_ID BIGINT  NOT NULL PRIMARY KEY ,  
42.     VERSION BIGINT NOT NULL,  
43.     STEP_NAME VARCHAR(100) NOT NULL,  
44.     JOB_EXECUTION_ID BIGINT NOT NULL,  
45.     START_TIME DATETIME NOT NULL ,  
46.     END_TIME DATETIME DEFAULT NULL ,  
47.     STATUS VARCHAR(10) ,  
48.     COMMIT_COUNT BIGINT ,  
49.     READ_COUNT BIGINT ,  
50.     FILTER_COUNT BIGINT ,  
51.     WRITE_COUNT BIGINT ,  
52.     READ_SKIP_COUNT BIGINT ,  
53.     WRITE_SKIP_COUNT BIGINT ,  
54.     PROCESS_SKIP_COUNT BIGINT ,  
55.     ROLLBACK_COUNT BIGINT ,  
56.     EXIT_CODE VARCHAR(2500) ,  
57.     EXIT_MESSAGE VARCHAR(2500) ,  
58.     LAST_UPDATED DATETIME,  
59.     constraint JOB_EXEC_STEP_FK foreign key (JOB_EXECUTION_ID)  
60.     references BATCH_JOB_EXECUTION(JOB_EXECUTION_ID)  
61. ) ENGINE=InnoDB;  
62.   
63. CREATE TABLE BATCH_STEP_EXECUTION_CONTEXT  (  
64.     STEP_EXECUTION_ID BIGINT NOT NULL PRIMARY KEY,  
65.     SHORT_CONTEXT VARCHAR(2500) NOT NULL,  
66.     SERIALIZED_CONTEXT TEXT ,  
67.     constraint STEP_EXEC_CTX_FK foreign key (STEP_EXECUTION_ID)  
68.     references BATCH_STEP_EXECUTION(STEP_EXECUTION_ID)  
69. ) ENGINE=InnoDB;  
70.   
71. CREATE TABLE BATCH_JOB_EXECUTION_CONTEXT  (  
72.     JOB_EXECUTION_ID BIGINT NOT NULL PRIMARY KEY,  
73.     SHORT_CONTEXT VARCHAR(2500) NOT NULL,  
74.     SERIALIZED_CONTEXT TEXT ,  
75.     constraint JOB_EXEC_CTX_FK foreign key (JOB_EXECUTION_ID)  
76.     references BATCH_JOB_EXECUTION(JOB_EXECUTION_ID)  
77. ) ENGINE=InnoDB;  
78.   
79. CREATE TABLE BATCH_STEP_EXECUTION_SEQ (  
80.     ID BIGINT NOT NULL,  
81.     UNIQUE_KEY CHAR(1) NOT NULL,  
82.     constraint UNIQUE_KEY_UN unique (UNIQUE_KEY)  
83. ) ENGINE=InnoDB;  
84.   
85. INSERT INTO BATCH_STEP_EXECUTION_SEQ (ID, UNIQUE_KEY) select * from (select 0 as ID, '0' as UNIQUE_KEY) as tmp where not exists(select * from BATCH_STEP_EXECUTION_SEQ);  
86.   
87. CREATE TABLE BATCH_JOB_EXECUTION_SEQ (  
88.     ID BIGINT NOT NULL,  
89.     UNIQUE_KEY CHAR(1) NOT NULL,  
90.     constraint UNIQUE_KEY_UN unique (UNIQUE_KEY)  
91. ) ENGINE=InnoDB;  
92.   
93. INSERT INTO BATCH_JOB_EXECUTION_SEQ (ID, UNIQUE_KEY) select * from (select 0 as ID, '0' as UNIQUE_KEY) as tmp where not exists(select * from BATCH_JOB_EXECUTION_SEQ);  
94.   
95. CREATE TABLE BATCH_JOB_SEQ (  
96.     ID BIGINT NOT NULL,  
97.     UNIQUE_KEY CHAR(1) NOT NULL,  
98.     constraint UNIQUE_KEY_UN unique (UNIQUE_KEY)  
99. ) ENGINE=InnoDB;  
100.   
101. INSERT INTO BATCH_JOB_SEQ (ID, UNIQUE_KEY) select * from (select 0 as ID, '0' as UNIQUE_KEY) as tmp where not exists(select * from BATCH_JOB_SEQ);  

SpringBatch框架进行元数据的管理共有九张表:

下面分别对9张表的数据结构讲解哈:

BATCH_JOB_INSTANCE(作业实例表,存放JOB的实例信息)

字段名称	字段 类型	字段说明
JOB_INSTANCE_ID	bigint	主键 ，作业实例编号,根据BATCH_JOB_SEQ自动生成
VERSION	bigint	版本号
JOB_NAME	varchar	作业名称 即在配置文件定义的JobId字段内容
JOB_KEY	varchar	作业标识,根据作业参数序列化生成的标识,需要注意通过JOB_NAME+JOB_KEY能够唯一区分一个作业实例

注意:JOB_KEY------如果同一个Job,则JOB_KEY一定不能相同,籍作业参数不能相同,如果不是同一个Job,JOB_KEY可以相同,也就是作业参数可以相同

BATCH_JOB_EXECUTION_PARAMS(作业参数表,用于存放每个JOB执行的时候的参数信息,即对于的JOB实例)

字段名称	字段类型	字段说明
JOB_EXECUTION_ID	bigint	外键ID,作业执行器ID编号，一个作业实例可能又会多行参数记录
TYPE_CD	varchar	参数的类型，总共有四种 String、Date、Double、Long
KEY_NAME	varchar	参数的名字
STRING_VAL	varchar	参数如果是String,就存放String类型的参数值
DATE_VAL	datetime	参数如果是Date,就存放Date类型的参数值
LONG_VAL	bigint	参数如果是Long,就存放Long类型的参数值
DOUBLE_VAL	double	参数如果是Double,就存放Double类型的参数值

IDENTIFYING                           char              用于标识作业参数是否标识作业实例

------------------------------------------------------------------------------------------------------------------------------------------------------------------

BATCH_JOB_EXECUTION(作业执行器表,存放当前作业的执行信息,创建时间、执行时间、执行结束时间、执行状态、执行Job实例等信息)

字段名称	字段类型	字段说明
JOB_EXECUTION_ID	bigint	主键
VERSION	bigint	版本号
JOB_INSTANCE_ID	bigint	作业实例ID
CREATE_TIME	datetime	作业执行器创建时间
START_TIME	datetime	作业执行器开始执行时间
END_TIME	datetime	作业执行器结束时间
STATUS	varchar	作业执行器执行的状态:COMPLETED、FAILED、STARTING、UNKNOW等
EXIT_CODE	varchar	作业执行器退出代码 如：UNKNOW、EXECUTING、COMPLETED等
EXIT_MESSAGE	varchar	作业执行器退出信息,通常存放异常信息
LAST_UPDATED	datetime	本条记录上次更新时间
JOB_CONFIGURATION_LOCATION	varchar	作业配置文件的位置

运用BATCH_JOB_INSTANCE和BATCH_JOB_EXECUTION两张表联合查询Job信息

[java]  view plain  copy

 

1. SELECT  
2.     bi.JOB_NAME,bi.JOB_KEY,be.CREATE_TIME,be.START_TIME,be.END_TIME,be.`STATUS`  
3. FROM  
4.     batch_job_instance bi  
5. LEFT JOIN batch_job_execution be ON bi.JOB_INSTANCE_ID = be.JOB_INSTANCE_ID  
6. where bi.JOB_NAME='billJob'  

BATCH_JOB_EXECUTION_CONTENXT(作业执行上下文表,存放上下文信息)

字段名称	字段类型	字段说明
JOB_EXECUTION_ID	bigint	外键ID,作业执行器编号
SHORT_CONTEXT	varchar	作业执行器上下文字符串格式
SERIALIZED_CONTEXT	text	序列化的作业执行上下文

BATCH_JOB_EXECUTION_SEQ表（用于BATCH_JOB_EXECUTION和BATCH_JOB_EXECUTION_CONTEXT提供主键生成）

BATCH_JOB_SEQ表（用于BATCH_JOB_INSTNCE和BATCH_JOB_EXECUTION_PARAMS提供主键生成）

BATCH_STEP_EXECUTION(作业步执行器，存放每个Step执行器的信息：开始时间、执行完成时间、读/写次数等)

字段名称	字段类型	字段说明
STEP_EXECUTION_ID	bigint	主键
VERSION	bigint	版本
STEP_NAME	varchar	作业步的名称
JOB_EXECUTION_ID	bigint	作业执行器ID
START_TIME	datetime	作业步执行器执行开始时间
END_TIME	datetime	作业步执行器执行结束时间
STATUS	varchar	作业步执行器执行状态  COMPLETED, STARTING, STARTED, STOPPING, STOPPED, FAILED, ABANDONED, UNKNOWN  存在于org.springframework.batch.core.BatchStatus
COMMIT_COUNT	bigint	事务提交次数
READ_COUNT	bigint	读数据次数
FILTER_COUNT	bigint	过滤掉的数据次数
WRITE_COUNT	bigint	写数据次数
READ_SKIP_COUNT	bigint	读数据跳过的次数
WRITE_SKIP_COUNT	bigint	写数据跳过的次数
PROCESS_SKIP_COUNT	bigint	处理数据跳过的次数
ROLLBACK_COUNT	bigint	事务回滚的次数
EXIT_CODE	varchar	作业步执行器退出编码，状态码存在于org.springframework.batch.core.ExitStauts
EXIT_MESSAGE	varchar	作业步执行器退出描述,一般是异常信息
LAST_UPDATED	datetime	本条记录上次更新时间

BATCH_STEP_EXECUTION_CONTEXT(作业步执行器上下文,存放作业步执行的上下文信息)

字段名称	字段类型	字段说明
STEP_EXECUTION_ID	bigint	作业步执行器ID
SHORT_CONTEXT	varchar	作业步执行器上下文字符串格式
SERIALIZED_CONTEXT	text	序列化作业步执行器上下文

BATCH_STEP_EXECUTION_SEQ（用于BATCH_STEP_EXECUTION和BATCH_STEP_EXECUTION_CONTEXT提供主键）