最近写的需求 需要频繁的往数据库中插入大量的数据,多达上万条,最后导致oracle 数据库直接挂掉了,这个问题肯定要解决的,主要的原因就是一次性插入这么多数据,oracle 数据库承受不住,
最后 报Caused by: java.sql.SQLException: ORA-04030: 在尝试分配 2024 字节 (kxs-heap-c,kg
hsstk) 时进程内存不足,这样的错误这就需要把要插入的数据分批来插入,每次插入一定的数量。下面用代码来实现一下。
1,批量插入使用 mybatis 的 forEach 标签遍历插入。
<insert id="insert" parameterType="com.msunhealth.blood.entity.BloodLog">
MERGE INTO DATA_INTERFACE_LOG bl USING (
<foreach collection="list" item="log" index="index"
separator="UNION">
select
#{log.username,jdbcType=VARCHAR} username,
#{log.command,jdbcType=DECIMAL} command,
#{log.osuser,jdbcType=VARCHAR} osuser, #{log.machine,jdbcType=VARCHAR} machine,
#{log.terminal,jdbcType=VARCHAR}
terminal,
#{log.programs,jdbcType=VARCHAR} programs, #{log.sessionType,jdbcType=VARCHAR} sessionType,
#{log.sqlText,jdbcType=VARCHAR} sqlText,
#{log.cpuTime,jdbcType=VARCHAR} cpuTime, #{log.parseCalls,jdbcType=VARCHAR} parseCalls,
#{log.executions,jdbcType=VARCHAR} executions,
#{log.loads,jdbcType=VARCHAR} loads, #{log.rowsProcessed,jdbcType=VARCHAR} rowsProcessed,
#{log.logTime,jdbcType=VARCHAR} logTime,#{log.taskId,jdbcType=VARCHAR} taskId,#{log.userId,jdbcType=BIGINT}
userId,#{log.etlId,jdbcType=VARCHAR} etlId
from dual
</foreach>) d on (bl.USERNAME = d.username and bl.COMMAND = d.command and bl.OSUSER=d.osuser
and bl.MACHINE = d.machine and bl.TERMINAL = d.terminal and bl.PROGRAMS = d.programs and bl.SESSION_TYPE =
d.sessionType
and bl.SQL_TEXT = d.sqlText and bl.CPU_TIME = d.cpuTime and bl.PARSE_CALLS = d.parseCalls and bl.EXECUTIONS
=d.executions
and bl.LOADS = d.loads and bl.ROWS_PROCESSED =d.rowsProcessed and bl.task_id = d.taskId and bl.user_id =
d.userId and bl.etl_id = d.etlId
)
WHEN MATCHED THEN UPDATE SET bl.log_time = d.logTime
WHEN NOT MATCHED THEN
INSERT
(LOG_ID, USERNAME, COMMAND,
OSUSER, MACHINE, TERMINAL,
PROGRAMS, SESSION_TYPE, SQL_TEXT,
CPU_TIME, PARSE_CALLS, EXECUTIONS,
LOADS, ROWS_PROCESSED,
LOG_TIME,TASK_ID,user_id,etl_id)
values (BLOOD_SEQ.nextval,d.username, d.command,
d.osuser, d.machine,d.terminal,
d.programs,d.sessionType, d.sqlText,
d.cpuTime, d.parseCalls, d.executions,
d.loads, d.rowsProcessed,
d.logTime,d.taskId,d.userId,d.etlId)
</insert>
上面就是 mybatis 的批量插入语句并且使用了merge into 语句,相信大家一定很熟悉,他就是把所有的语句使用 UNION 整合成一条语句来插入。
下面就来实现如果插入的数据量过多的话,就要使用commit 来 分批插入,在 service 实现分批,具体代码 如下。
@Service
public class BloodServiceImpl implements BloodService {
//注入 sqlSessionFactory,用它来获取 SqlSession,调用insert()
@Resource
private SqlSessionFactory sqlSessionFactory;
/**
* @return
* @Date 2020/4/17 11:19
* @Author XXX
* @Description //TODO 插入日志记录
**/
@Override
public void insertLog(List<BloodLog> allBloodLogs) {
SqlSession batchSqlSession = null;
try {
//sqlSessionFactory 是注入的
batchSqlSession = sqlSessionFactory.openSession(ExecutorType.BATCH, false);//获取批量方式的sqlsession
int batchCount = 1000;//每批commit的个数
int batchLastIndex = batchCount - 1;//每批最后一个的下标
for (int index = 0; index < allBloodLogs.size() - 1; ) {
if (batchLastIndex > allBloodLogs.size() - 1) {
batchLastIndex = allBloodLogs.size() - 1;
//com.msunhealth.blood.dao.BloodLogMapper.insert 是mapper 的 .xml文件中 namespace的值+ id的值
batchSqlSession.insert("com.msunhealth.blood.dao.BloodLogMapper.insert", allBloodLogs.subList(index, batchLastIndex));
batchSqlSession.commit();
break;//数据插入完毕,退出循环
} else {
batchSqlSession.insert("com.msunhealth.blood.dao.BloodLogMapper.insert", allBloodLogs.subList(index, batchLastIndex));
batchSqlSession.commit();
index = batchLastIndex + 1;//设置下一批下标
batchLastIndex = index + (batchCount - 1);
}
}
} finally {
batchSqlSession.close();
}
}
}
注: 这里不需要 想往常一样调用mapper 的方法,而是用batchSqlSession.insert("com.msunhealth.blood.dao.BloodLogMapper.insert", allBloodLogs.subList(index, batchLastIndex)); 代替,相当于 Spring 中的 insert()方法。
mapper 接口中的方
int insert(@Param("list") List<BloodLog> record);
注:
"com.msunhealth.blood.dao.BloodLogMapper.insert"
就是
加上
id 的值。