一、简单步骤分析
①引入SqlSessionTemplate
②根据需求写一个批量处理的方法(关掉自动提交,批次commit)
③将需要插入的数据(list),传入批处理方法中处理
二、实战场景带入
①引入SqlSessionTemplate
@Autowired
private SqlSessionTemplate sqlSessionTemplate;
@Autowired
private JourMapper jourMapper;
*②根据需求写一个批量处理的方法(关掉自动提交,批次commit)
private void insertBatchData(List<JourEntity> list) {
//批量插入数据,通过sqlSession工厂类处理,openSession(ExecutorType.BATCH, false)选择批次提交,关掉自动提交
SqlSession sqlSession = sqlSessionTemplate.getSqlSessionFactory().openSession(ExecutorType.BATCH, false);
try {
//指定mybatis的具体Mapper类
JourMapper jourMapper = sqlSession.getMapper(JourMapper.class);
AtomicInteger atomicInteger = new AtomicInteger();
for (int i = 0; i < list.size(); i++) {
jourMapper.insert(list.get(i));
if (i % 500 == 0 || i == list.size() - 1) {
//每1000条数据,手动提交一次,提交后的数据无法回滚
sqlSession.commit();
//积累数据量太多容易导致内存溢出,所以每次提交后清理缓存,防止溢出
sqlSession.clearCache();
atomicInteger.incrementAndGet();
log.info("当前提交批次为:"+atomicInteger.get());
}
}
} catch (Exception e) {
log.info("批量插入失败:"+e);
//未提交的数据可以回滚
sqlSession.rollback();
} finally {
sqlSession.close();
}
}
③将需要插入的数据(list),传入批处理方法中处理
@Scheduled(cron = "${crontab}")//定时任务crontab表达式
public void insertBatchMsg() {
//组装数据
List<JourEntity> list = new ArrayList();
for (int i = 10000000; i < 10100000; i++) {
JourEntity detail = new JourEntity();
detail.setAccDate("20220315");
detail.setAccTime("000101");
detail.setMerchantNum("11011011");
detail.setOrderAmt("0.01");
String strId = String.valueOf(SnowflakeIdWorker.generateId());
detail.setOrderNum(strId);
//log.info("-------OrderNum------:"+strId);
detail.setUserNum(String.valueOf(i));
//log.info("-------UserNum------:"+String.valueOf(i));
list.add(detail);
}
//批量插入
insertBatchData(list);
}
*注:JourEntity是一个普通实体类,JourMapper是一个普通业务所需的mapper接口