本篇文件,我们来进一步学习Spring Batch3:读取解析日志文件并插入到数据库中。这是一个非常常见的场景:应用系统产生的日志,通过Spring Batch解析入库。
源文件
假定我们要读取的源文件的每行的格式如下(共5部分,用逗号分隔,分别为:时间、请求url、用户、请求时长、userAgent):
2016-11-18 13:21:25,/test/core/postXY,sx_yuanchaozhong,4,/test/1.201610201/IOS/iPhone OS 10.0.2/iPhone8_1/31991EB3-60FF-4DCF-B90A-DE5E1F1026D7
目标表(mysql)
数据插入的表结构:
CREATE TABLE `access` (
`date_str` varchar(50) NOT NULL,
`path` varchar(200) NOT NULL,
`userCode` varchar(100) NOT NULL,
`time` int(11) DEFAULT NULL,
`userAgent` varchar(200) NOT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
Bean
为了方便解析和处理,我们增加一个javaBean实体类,对应日志文件中的每一行分隔后的数据:
public class AccessBean {
private String dateStr;//日期字符串
private String path;//路径
private String userCode;//用户
private Integer time;//请求时长(毫秒)
private String userAgent;//客户端
//getter and setter ....
}
Spring Batch 代码实现
Spring Batch 实现包括三部分:ItemReader、ItemProcessor、ItemWriter
ItemReader实现:主要实现按行读取文件,分隔行并映射到实体类AccessBean中。Spring Batch3默认提供有很多常见的ItemReader,其中就包括我们所需要的ItemReader:org.springframework.batch.item.file.FlatFileItemReader,我们不需要自己实现。
ItemProcessor实现:由于我们是解析后直接插入数据库,不做处理,所以ItemProcessor不用实现
ItemWriter实现:把数据插入到数据库中。Spring Batch3默认也提供了我们所需要的ItemWriter:org.springframework.batch.item.database.JdbcBatchItemWriter,通过jdbc连接插入到数据库中。
Spring Batch3 默认提供了很多常见场景下的Reader和Writer的实现,所以很多场景下都不需要自己再实现。
Spring Batch Job配置
Job
commit-interval="1000" 指每读1000行进行处理(读1000行才会提交到Processor和Writer)
ItemReader - logReader
FlatFileItemReader需要两个参数:resource和 lineMapper.而lineMapper同样需要两个参数:lineTokenizer和fieldSetMapper。
lineTokenizer :定义行的分隔方式和分隔后数据存储的方式,配置如下:
dateStr
path
userCode
time
userAgent
fieldSetMapper :定义如何映射行数据到实体类,这里通过BeanWrapperFieldSetMapper类来进行实体映射。
ItemWriter
INSERT INTO access
(date_str, `path`, userCode, `time`, userAgent)
VALUES(:dateStr, :path, :userCode, :time, :userAgent)
]]>
运行Job
App.run("readFile2DBJob");
至此,读取文件插入数据库的工作已经全部完成。可以看出,开发的代码量很少。
附完整代码