mybatis的sqlSessionTemplate批量写库数据插入

在数据量大并且需要快速完成写库的情况下,通过批量写库,效率明显比单独的每条数据执行一次写操作效率高很多。

通过mybatis的sqlSessionTemplate批量数据写库是批量写库的一种实现方式,实际上逐条数据执行insert,然后再进行批量提交。

该方法的优势在于,不依赖于数据库的批量写入语法,采用单条数据写入,利用数据库的事务特性进行批量提交。

主要步骤包括:

1. 自动注入sqlSessionTemplate

    @Autowired
    private SqlSessionTemplate sqlSessionTemplate;
 
    private  SqlSession sqlSession ;

2. 编写批量写库方法

void batchInserLogs(List<LogService> list)
    {
        if(sqlSession == null)
        {
            sqlSession = sqlSessionTemplate.getSqlSessionFactory().openSession(ExecutorType.BATCH, false);
        }

        LogServiceMapper logMapper = sqlSession.getMapper(LogServiceMapper.class);

        for(LogService log : list)
        {
            logMapper.insertLogService(log);
        }

        try {
            sqlSession.commit();
            // sqlSession.clearCache();
        }
        catch (Exception e)
        {
            e.printStackTrace();
        }
    }

这里需要特别说明一点,这里的openSession方法,调用一次会获取一个数据库连接,如果每次执行都获取连接,就需要在结束的时候调用sqlSession.close();来释放连接,也可以只获取一个连接,该连接用于执行批量操作。

如果列表中的数据量比较大,比如有可能几百条,甚至上千条,此时可以考虑分多个批次写入,参考写法:

for (int i = 0; i < list.size(); i++) {
	logMapper.insert(list.get(i));
	if (i % 100 == 0 || i == list.size() - 1) {
		// 每100条数据,手动提交一次,提交后的数据无法回滚
		sqlSession.commit();
		// 积累数据量太多容易导致内存溢出,所以每次提交后清理缓存,防止溢出
		sqlSession.clearCache();		
	}
}

 批次提交的数据大小,可以根据实际测试进行灵活调整,找到一个合适的参数。

3. 调用批量写库方法

List<LogService> list = new ArrayList<LogService>();

// 遍历map中的值
for (LogService value : map1.values()) {                        
       list.add(value);
}
                    
batchInserLogs(list);

list = null;
map1.clear();

调用方法就非常简单了,传递一个列表即可。

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值