mybatis for循环批量插入及分批插入

前言

背景是这样的，在一次多个系统数据同步的时候，数据量较大，一次大概5000条，在同步的时候我采用的批量插入的方法，模拟测试没问题，但是实际测试却爆出了stackOverFlowError异常，于是乎，跟了一波代码，

批量插入

---

DAO

void insertList(List<Object> listData);

Mapper

<insert id="insertList" parameterType="java.util.List">
        INSERT into t_sync(
        id,
        code
        )
        select items.* from
        (
        <foreach collection="list" item="item" index="index" separator="UNION ALL">
            select
            #{item.orgId,jdbcType = VARCHAR},
            #{item.code,jdbcType = VARCHAR}
            from dual
        </foreach>
        ) items
    </insert>

在使用的过程中发现报错

原因

在这里可以看出存在一个递归的引用，所以当数据量过大的时候递归过深就会引起stackOverFlowError。

stackOverFlowError临界值

64位系统栈内存默认是1024KB（可以通过-Xss设置栈内存大小）也就是1M，
在栈内每次调用方法都会产生一个栈帧空间，压入内存中，这个栈帧空间存储着方法的参数、局部变量、动态链接、方法出口等信息，在深度递归中，大量栈帧压入了栈内存且短时间无法得到释放，1M的空间很快用完，导致stackOverFlowError。
那么临界值是究竟是多少呢？
这个临界值明显和栈帧空间所占大小有很大的关系，所以我们得确定这个栈帧大小，栈帧的大小就关乎到我们所用到的参数以及局部变量所占空间的大小，所以准确的说是没有明确的临界值。

解决办法

改变栈大小（不推荐）

-XSS

分批插入

//分批插入，一次插入的大小
            int limit = 500;
            int listSize = userList.size();
            List<ConsoleUserSyncVO> newList = Lists.newArrayList();
            for (int i = 0; i < listSize; i++) {
                //分批次处理,循环将数据填入载体list
                newList.add(consoleUserList.get(i));
                //临时存储newList达到要求或者达到最大量,进行批量操作
                if (limit == newList.size() || i == listSize - 1) {
                    //调用批量插入
                    userDao.insertListUser(newList);
                    //每次批量操作后,清空载体list,等待下次的数据填入
                    newList.clear();
                }

如有不正确的地方欢迎各位大佬指教