springbatch读取文件_Spring Batch读取txt文件并写入数据库的方法教程

项目需求

近日需要实现用户推荐相关的功能，也就是说向用户推荐他可能喜欢的东西。

我们的数据分析工程师会将用户以及用户可能喜欢的东西整理成文档给我，我只需要将数据从文档中读取出来，然后对数据进行进一步的清洗(例如去掉特殊符号，长度如果太长则截取)。然后将处理后的数据存入数据库(Mysql)。

所以分为三步：

读取文档获得数据

对获得的数据进行处理

更新数据库(新增或更新)

考虑到这个数据量以后会越来越大，这里没有使用 poi 来读取数据，而直接使用了 SpringBatch。

实现步骤

本文假设读者已经能够使用 SpringBoot 连接处理 Mysql，所以这部分文中会省略。

1、创建 Maven 项目，并在 pom.xml 中添加依赖

org.springframework.boot

spring-boot-starter-parent

1.5.2.RELEASE

1.8

org.springframework.boot

spring-boot-starter-batch

org.springframework.boot

spring-boot-starter-data-jpa

org.springframework.boot

spring-boot-starter-test

test

org.mybatis.spring.boot

mybatis-spring-boot-starter

1.2.0

org.projectlombok

lombok

1.12.6

org.apache.commons

commons-lang3

3.4

mysql

mysql-connector-java

runtime

com.alibaba

druid

1.0.26

org.springframework.boot

spring-boot-starter-web

这里是这个小项目中用到的所有依赖，包括连接数据库的依赖以及工具类等。

2、编写 Model 类

我们要从文档中读取的有效列就是 uid，tag，type，就是用户 ID，用户可能包含的标签(用于推送)，用户类别(用户用户之间互相推荐)。

UserMap.java 中的 @Entity，@Column 注解，是为了利用 JPA 生成数据表而写的，可要可不要。

UserMap.java

@Data

@EqualsAndHashCode

@NoArgsConstructor

@AllArgsConstructor

//@Entity(name = "user_map")

public class UserMap extends BaseModel {

@Column(name = "uid", unique = true, nullable = false)

private Long uid;

@Column(name = "tag")

private String tag;

@Column(name = "type")

private Integer type;

}

3、实现批处理配置类

BatchConfiguration.java

@Configuration