在数据量大并且需要快速完成写库的情况下,通过批量写库,效率明显比单独的每条数据执行一次写操作效率高很多。
通过mybatis的sqlSessionTemplate批量数据写库是批量写库的一种实现方式,实际上逐条数据执行insert,然后再进行批量提交。
该方法的优势在于,不依赖于数据库的批量写入语法,采用单条数据写入,利用数据库的事务特性进行批量提交。
主要步骤包括:
1. 自动注入sqlSessionTemplate
@Autowired
private SqlSessionTemplate sqlSessionTemplate;
private SqlSession sqlSession ;
2. 编写批量写库方法
void batchInserLogs(List<LogService> list)
{
if(sqlSession == null)
{
sqlSession = sqlSessionTemplate.getSqlSessionFactory().openSession(ExecutorType.BATCH, false);
}
LogServiceMapper logMapper = sqlSession.getMapper(LogServiceMapper.class);
for(LogService log : list)
{
logMapper.insertLogService(log);
}
try {
sqlSession.commit();
// sqlSession.clearCache();
}
catch (Exception e)
{
e.printStackTrace();
}
}
这里需要特别说明一点,这里的openSession方法,调用一次会获取一个数据库连接,如果每次执行都获取连接,就需要在结束的时候调用sqlSession.close();来释放连接,也可以只获取一个连接,该连接用于执行批量操作。
如果列表中的数据量比较大,比如有可能几百条,甚至上千条,此时可以考虑分多个批次写入,参考写法:
for (int i = 0; i < list.size(); i++) {
logMapper.insert(list.get(i));
if (i % 100 == 0 || i == list.size() - 1) {
// 每100条数据,手动提交一次,提交后的数据无法回滚
sqlSession.commit();
// 积累数据量太多容易导致内存溢出,所以每次提交后清理缓存,防止溢出
sqlSession.clearCache();
}
}
批次提交的数据大小,可以根据实际测试进行灵活调整,找到一个合适的参数。
3. 调用批量写库方法
List<LogService> list = new ArrayList<LogService>();
// 遍历map中的值
for (LogService value : map1.values()) {
list.add(value);
}
batchInserLogs(list);
list = null;
map1.clear();
调用方法就非常简单了,传递一个列表即可。