Mybatis 插入大量数据性能问题的解决（Caused by: java.sql.SQLException: ORA-04030: 在尝试分配 2024 字节 (kxs-heap-c,kg hs）

最近写的需求 需要频繁的往数据库中插入大量的数据，多达上万条，最后导致oracle 数据库直接挂掉了，这个问题肯定要解决的，主要的原因就是一次性插入这么多数据，oracle 数据库承受不住，
最后 报Caused by: java.sql.SQLException: ORA-04030: 在尝试分配 2024 字节 (kxs-heap-c,kg
hsstk) 时进程内存不足，这样的错误这就需要把要插入的数据分批来插入，每次插入一定的数量。下面用代码来实现一下。

1，批量插入使用 mybatis 的 forEach 标签遍历插入。

<insert id="insert" parameterType="com.msunhealth.blood.entity.BloodLog">
        MERGE INTO DATA_INTERFACE_LOG bl USING (
        <foreach collection="list" item="log" index="index"
                 separator="UNION">
            select
            #{log.username,jdbcType=VARCHAR} username,
            #{log.command,jdbcType=DECIMAL} command,
            #{log.osuser,jdbcType=VARCHAR} osuser, #{log.machine,jdbcType=VARCHAR} machine,
            #{log.terminal,jdbcType=VARCHAR}
            terminal,
            #{log.programs,jdbcType=VARCHAR} programs, #{log.sessionType,jdbcType=VARCHAR} sessionType,
            #{log.sqlText,jdbcType=VARCHAR} sqlText,
            #{log.cpuTime,jdbcType=VARCHAR} cpuTime, #{log.parseCalls,jdbcType=VARCHAR} parseCalls,
            #{log.executions,jdbcType=VARCHAR} executions,
            #{log.loads,jdbcType=VARCHAR} loads, #{log.rowsProcessed,jdbcType=VARCHAR} rowsProcessed,
            #{log.logTime,jdbcType=VARCHAR} logTime,#{log.taskId,jdbcType=VARCHAR} taskId,#{log.userId,jdbcType=BIGINT}
            userId,#{log.etlId,jdbcType=VARCHAR} etlId
            from dual
        </foreach>) d on (bl.USERNAME = d.username and bl.COMMAND = d.command and bl.OSUSER=d.osuser
        and bl.MACHINE = d.machine and bl.TERMINAL = d.terminal and bl.PROGRAMS = d.programs and bl.SESSION_TYPE =
        d.sessionType
        and bl.SQL_TEXT = d.sqlText and bl.CPU_TIME = d.cpuTime and bl.PARSE_CALLS = d.parseCalls and bl.EXECUTIONS
        =d.executions
        and bl.LOADS = d.loads and bl.ROWS_PROCESSED =d.rowsProcessed and bl.task_id = d.taskId and bl.user_id =
        d.userId and bl.etl_id = d.etlId
        )
        WHEN MATCHED THEN UPDATE SET bl.log_time = d.logTime
        WHEN NOT MATCHED THEN
        INSERT
        (LOG_ID, USERNAME, COMMAND,
        OSUSER, MACHINE, TERMINAL,
        PROGRAMS, SESSION_TYPE, SQL_TEXT,
        CPU_TIME, PARSE_CALLS, EXECUTIONS,
        LOADS, ROWS_PROCESSED,
        LOG_TIME,TASK_ID,user_id,etl_id)
        values (BLOOD_SEQ.nextval,d.username, d.command,
        d.osuser, d.machine,d.terminal,
        d.programs,d.sessionType, d.sqlText,
        d.cpuTime, d.parseCalls, d.executions,
        d.loads, d.rowsProcessed,
        d.logTime,d.taskId,d.userId,d.etlId)
    </insert>

上面就是 mybatis 的批量插入语句并且使用了merge into 语句，相信大家一定很熟悉，他就是把所有的语句使用 UNION 整合成一条语句来插入。

下面就来实现如果插入的数据量过多的话，就要使用commit 来 分批插入，在 service 实现分批，具体代码 如下。

@Service
public class BloodServiceImpl implements BloodService {
//注入 sqlSessionFactory,用它来获取 SqlSession，调用insert()
@Resource
private SqlSessionFactory sqlSessionFactory;
/**
     * @return
     * @Date 2020/4/17 11:19
     * @Author XXX
     * @Description //TODO  插入日志记录
     **/
    @Override
    public void insertLog(List<BloodLog> allBloodLogs) {
       SqlSession batchSqlSession = null;
        try {
        //sqlSessionFactory 是注入的
            batchSqlSession = sqlSessionFactory.openSession(ExecutorType.BATCH, false);//获取批量方式的sqlsession
            int batchCount = 1000;//每批commit的个数
            int batchLastIndex = batchCount - 1;//每批最后一个的下标
            for (int index = 0; index < allBloodLogs.size() - 1; ) {
                if (batchLastIndex > allBloodLogs.size() - 1) {
                    batchLastIndex = allBloodLogs.size() - 1;
                    //com.msunhealth.blood.dao.BloodLogMapper.insert   是mapper 的 .xml文件中 namespace的值+ id的值
                    batchSqlSession.insert("com.msunhealth.blood.dao.BloodLogMapper.insert", allBloodLogs.subList(index, batchLastIndex));
                    batchSqlSession.commit();
                    break;//数据插入完毕,退出循环
                } else {
                    batchSqlSession.insert("com.msunhealth.blood.dao.BloodLogMapper.insert", allBloodLogs.subList(index, batchLastIndex));
                    batchSqlSession.commit();
                    index = batchLastIndex + 1;//设置下一批下标
                    batchLastIndex = index + (batchCount - 1);
                }
            }
        } finally {
            batchSqlSession.close();
        }
    }
    }
注： 这里不需要 想往常一样调用mapper 的方法，而是用batchSqlSession.insert("com.msunhealth.blood.dao.BloodLogMapper.insert", allBloodLogs.subList(index, batchLastIndex)); 代替，相当于 Spring 中的 insert（）方法。


mapper 接口中的方

int insert(@Param("list") List<BloodLog> record);

注：

"com.msunhealth.blood.dao.BloodLogMapper.insert"

就是

加上

id 的值。