spring batch 读mysql_Spring Batch 3 - 读文件写数据库

本篇文件，我们来进一步学习Spring Batch3：读取解析日志文件并插入到数据库中。这是一个非常常见的场景：应用系统产生的日志，通过Spring Batch解析入库。

源文件

假定我们要读取的源文件的每行的格式如下(共5部分，用逗号分隔，分别为：时间、请求url、用户、请求时长、userAgent)：

2016-11-18 13:21:25,/test/core/postXY,sx_yuanchaozhong,4,/test/1.201610201/IOS/iPhone OS 10.0.2/iPhone8_1/31991EB3-60FF-4DCF-B90A-DE5E1F1026D7

目标表(mysql)

数据插入的表结构：

CREATE TABLE `access` (

`date_str` varchar(50) NOT NULL,

`path` varchar(200) NOT NULL,

`userCode` varchar(100) NOT NULL,

`time` int(11) DEFAULT NULL,

`userAgent` varchar(200) NOT NULL

) ENGINE=InnoDB DEFAULT CHARSET=utf8;

Bean

为了方便解析和处理，我们增加一个javaBean实体类，对应日志文件中的每一行分隔后的数据：

public class AccessBean {

private String dateStr;//日期字符串

private String path;//路径

private String userCode;//用户

private Integer time;//请求时长(毫秒)

private String userAgent;//客户端

//getter and setter ....

}

Spring Batch 代码实现

Spring Batch 实现包括三部分：ItemReader、ItemProcessor、ItemWriter

ItemReader实现：主要实现按行读取文件，分隔行并映射到实体类AccessBean中。Spring Batch3默认提供有很多常见的ItemReader，其中就包括我们所需要的ItemReader：org.springframework.batch.item.file.FlatFileItemReader，我们不需要自己实现。

ItemProcessor实现：由于我们是解析后直接插入数据库，不做处理，所以ItemProcessor不用实现

ItemWriter实现：把数据插入到数据库中。Spring Batch3默认也提供了我们所需要的ItemWriter：org.springframework.batch.item.database.JdbcBatchItemWriter，通过jdbc连接插入到数据库中。

Spring Batch3 默认提供了很多常见场景下的Reader和Writer的实现，所以很多场景下都不需要自己再实现。

Spring Batch Job配置

Job

commit-interval="1000" 指每读1000行进行处理(读1000行才会提交到Processor和Writer)

ItemReader - logReader

FlatFileItemReader需要两个参数：resource和 lineMapper.而lineMapper同样需要两个参数：lineTokenizer和fieldSetMapper。

lineTokenizer :定义行的分隔方式和分隔后数据存储的方式，配置如下：

dateStr

path

userCode

time

userAgent

fieldSetMapper :定义如何映射行数据到实体类，这里通过BeanWrapperFieldSetMapper类来进行实体映射。

ItemWriter

INSERT INTO access

(date_str, `path`, userCode, `time`, userAgent)

VALUES(:dateStr, :path, :userCode, :time, :userAgent)

]]>

运行Job

App.run("readFile2DBJob");

至此，读取文件插入数据库的工作已经全部完成。可以看出，开发的代码量很少。

附完整代码