使用SpringBoot读取Excel组装JavaBean存储到数据库中
1、工具介绍
1、使用Alibaba 的Easy Excel工具来进行
2、项目地址 GitHub EasyExcel
3、官方文档 EasyExcel
2、创建好一个SpringBoot项目
1、可以用SpringBoot Initializer 来创建
2、也可以创建一个Maven项目添加依赖
3、添加EasyExcel依赖
1、这点对小白不太友好,不知道要添加什么依赖
<dependency>
<groupId>com.alibaba</groupId>
<artifactId>easyexcel</artifactId>
<version>2.2.10</version>
</dependency>
<!-- 这个地方是从项目的pom文件中找到的,阿里云的maven仓库中可以拉取到 -->
4、准备一张Excel表
5、写代码
5.1、Bean、Service、Mapper一条龙
做个User示例
Javabean
@Data
public class User {
private Integer id;
// 这个@ExcelProperty注解是指定excel文件的表头名
@ExcelProperty("姓名")
private String name;
@ExcelProperty("创建时间")
private Date createDate;
}
Service
@Service
@AllArgsConstructor
public class UserServiceImpl implements UserService {
private final UserMapper userMapper;
@Override
public int save(List<User> list) {
int sum = 0;
for (User user : list) {
sum += userMapper.save(user);
}
return sum;
}
}
Mapper
@Mapper
public interface UserMapper {
int save(User user); // 使用mybatis的xml文件插入一条。只是一个测试。
}
5.2、测试类
Listener
Listener中主要是完成对这个读取到的数据进行操作的,这个地方直接复制的官方Demo中的。
这个需要修改的地方有
- 要将Bean换成自己的
- Mapper或Service是否是自动注入,如果是的话,要将这块教给Spring管理
注意:Mapper和Service要是自动注入的话,这个Listener也需要交给Spring进行管理,可以写在配置类中,也可以写一个Controller等注解交给Spring进行管理
// 有个很重要的点 UserListener 不能被spring管理,要每次读取excel都要new,然后里面用到spring可以构造方法传进去
@Controller
public class UserListener extends AnalysisEventListener<User> {
private static final Logger LOGGER = LoggerFactory.getLogger(UserListener.class);
/**
* 每隔5条存储数据库,实际使用中可以3000条,然后清理list ,方便内存回收
*/
private static final int BATCH_COUNT = 5;
List<User> list = new ArrayList<>();
/**
* 假设这个是一个DAO,当然有业务逻辑这个也可以是一个service。当然如果不用存储这个对象没用。
*/
@Resource
private UserService userService;
/**
* 这个每一条数据解析都会来调用
*
* @param data one row value. Is is same as {@link AnalysisContext#readRowHolder()}
* @param context
*/
@Override
public void invoke(User data, AnalysisContext context) {
LOGGER.info("解析到一条数据:{}", JSON.toJSONString(data));
list.add(data);
// 达到BATCH_COUNT了,需要去存储一次数据库,防止数据几万条数据在内存,容易OOM
if (list.size() >= BATCH_COUNT) {
saveData();
// 存储完成清理 list
list.clear();
}
}
/**
* 所有数据解析完成了 都会来调用
*
* @param context
*/
@Override
public void doAfterAllAnalysed(AnalysisContext context) {
// 这里也要保存数据,确保最后遗留的数据也存储到数据库
saveData();
LOGGER.info("所有数据解析完成!");
}
/**
* 加上存储数据库
*/
private void saveData() {
LOGGER.info("{}条数据,开始存储数据库!", list.size());
userService.save(list);
LOGGER.info("存储数据库成功!");
}
}
测试类
@SpringBootTest
public class WriteTest {
// 这儿如果要进行自动注入的时候,必须使用SpringBootTest注解来表明这是一个SpringBootTest类
@Autowired
private UserListener userListener;
/**
* 最简单的读
* <p>
* 1. 创建excel对应的实体对象 参照{@link User}
* <p>
* 2. 由于默认一行行的读取excel,所以需要创建excel一行一行的回调监听器,参照{@link UserListener}
* <p>
* 3. 直接读即可
*/
@Test
public void simpleRead() {
// 有个很重要的点 DemoDataListener 不能被spring管理,要每次读取excel都要new,然后里面用到spring可以构造方法传进去
// 写法1:
// String fileName = TestFileUtil.getPath() + "demo" + File.separator + "demo.xlsx";
// // 这里 需要指定读用哪个class去读,然后读取第一个sheet 文件流会自动关闭
// EasyExcel.read(fileName, User.class, new UserListener()).sheet().doRead();
// 写法2:
String fileName = "用户.xlsx"; // 自己的文件路径
ExcelReader excelReader = null;
try {
excelReader = EasyExcel.read(fileName, User.class, userListener).build();
ReadSheet readSheet = EasyExcel.readSheet(0).build();
excelReader.read(readSheet);
} finally {
if (excelReader != null) {
// 这里千万别忘记关闭,读的时候会创建临时文件,到时磁盘会崩的
excelReader.finish();
}
}
}
}
5.3、执行测试
看到日志系统打印出来就成功了
数据库查看
注意:解析到的数据存储到数据库的方式由Mapper的实现决定