SQL语句 in+集合过长的问题

最新推荐文章于 2024-07-25 08:30:00 发布

流年独行

最新推荐文章于 2024-07-25 08:30:00 发布

阅读量4.3k

点赞数 2

分类专栏： SQL java基础文章标签： sql

本文链接：https://blog.csdn.net/lqf1533436335/article/details/123483163

版权

java基础同时被 2 个专栏收录

7 篇文章 0 订阅

订阅专栏

SQL

1 篇文章 0 订阅

订阅专栏

文章探讨了在面临SQL查询中IN子句集合过长导致的性能问题时，如何通过切分集合和改进查询策略来优化。提出了一种将大集合拆分为多个小集合的方法，并建议在数据量巨大时避免使用IN查询，转而采用连表查询以提高SQL查询效率。同时，建议定期更新横向拉伸表以进一步优化查询性能。

摘要由CSDN通过智能技术生成

解决SQL语句 in 集合过长的问题

问题：在公司写查询时候，在写人员权限查询时候，部门性质表是一张层层嵌套迭代的表（部门id，父部门id，部门级别），需求场景需要找到部门所有下级部门，按权限查询数据。

正常思路：

查询当前所在部门编码级别循环迭代下级部门拿下级部门编码父编码级别继续循环
mapper层入参：

List<Po> queryUser(@Param("deptCode") List<List<String>> deptCode);

        <if test="deptCode != null and deptCode.size>0">
            and
            <foreach collection="deptCode" index="index" item="idsItem" open="(" separator="or" close=")" >
                b.OBJ_MRC in
                <foreach collection="idsItem" index="index" item="item" open="(" separator="," close=")" >
                    #{item}
                </foreach>
            </foreach>
        </if>

SQL in集合长度大于1000会报错（解决方法把一个集合拆分为多个小于集合）

切分in集合两种方法

    public static List<List<String>> splitList(List<String> list, int len) {
        //list为需要拆分的集合    len 拆分的长度
        if (list == null || list.size() == 0 || len < 1) {
            return null;
        }
        List<List<String>> result = new ArrayList<List<String>>();
        int size = list.size();
        int count = (size + len - 1) / len;
        for (int i = 0; i < count; i++) {
            List<String> subList = list.subList(i * len, ((i + 1) * len > size ? size : len * (i + 1)));
            result.add(subList);
        }
        return result;
    }

    public Map groupList(List list) {
        int listSize = list.size();
        int toIndex = 1000;
        Map map = new HashMap();     //用map存起来新的分组后数据
        int keyToken = 0;
        for (int i = 0; i < list.size(); i += 1000) {
            if (i + 1000 > listSize) {        //作用为toIndex最后没有100条数据则剩余几条newList中就装几条
                toIndex = listSize - i;
            }
            List newList = list.subList(i, i + toIndex);
            map.put("keyName" + keyToken, newList);
            keyToken++;
        }
        return map;
    }