MyBatis-Plus的查询条件构造器的一个注意事项

也和光同尘

已于 2022-08-18 22:43:37 修改

阅读量1k

点赞数

分类专栏： MyBatis-Plus 文章标签： mybatis java mysql

于 2022-08-16 22:39:54 首次发布

本文链接：https://blog.csdn.net/weixin_38846854/article/details/126375837

版权

MyBatis-Plus 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

发现异常

上线完成后，巡检日志。
发现druid报了一个slow sql的错
ERROR c.a.druid.filter.stat.StatFilter - slow sql 1909 millis.
看了下，发现这个sql有些不一样：筛选条件重复了

select id, biz_filed_1
from table1
WHERE status IN (?, ?)
  AND biz_date IS NOT NULL
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id > ?
  AND id

因为id是主键，经过mysql优化器的处理【计算PRIMARY需要成本】，上面sql的执行结果也是对的。
但是，MySQL默认sql语句最大为1M。如果不解决，当超过这个限制时，就报错了

初步分析

问题的范围应该在MyBatis-Plus的条件构造器。
拼sql使用的是MyBatis-Plus的查询条件构造器QueryWrapper。
涉及到代码如下：

public class BizDataService {

    public void doTask() {
        log.info("任务开始");
        QueryWrapper<BizData> queryWrapper = new QueryWrapper<>();
        queryWrapper.in("status", 1, 2, 3);
        queryWrapper.isNotNull("biz_filed_1");
        queryWrapper.select("id", "biz_filed_1");
        queryWrapper.orderByAsc("id");
        queryWrapper.last("limit 10 ");
        List<BizData> bizDataList = bizDataService.list(queryWrapper);
        if (CollectionUtils.isEmpty(bizDataList)) {
            log.info("没有满足条件的数据");
            return;
        }

        while (true) {
            updateData(traceId, bizDataList);
            if (CollectionUtils.isEmpty(bizDataList)) {
                log.info("任务 完成 ");
                return;
            }
            Long lastId = bizDataList.get(bizDataList.size() - 1).getId();
            log.info(" lastId {} ", lastId);
            queryWrapper.gt("id", lastId);
            bizDataList = bizDataService.list(queryWrapper);
        }

    }


}

有问题的sql，应该出现在构建 id>? 环节：

queryWrapper.gt("id",lastId);

因为要取已经处理过的最大的id，所以放在while循环中了。为了复用，直接使用了方法最开始的条件构造器queryWrapper。
结合上面的慢sql，很可能是MyBatis-Plus拼sql的条件构造器没有做去重处理。
不过单从上面这个场景来看，MyBatis-Plus作为基础框架也不知道应该保留那一次，最多能做的是遇到重复的做个去重。

复现

case :

使用MyBatis-Plus的条件构造器来构建查询语句
条件构造器的Wrapper.gt对同一个字段要执行多次

@Slf4j
@SpringBootTest(classes = {MpIntroductionApplication.class})
class TaskServiceImplTest {

    @Autowired
    private TaskService taskService;

    @Test
    public void testWrapperWhen2Gt() {
        QueryWrapper<Task> queryWrapper = new QueryWrapper<>();
        queryWrapper.select("id", "name");
        queryWrapper.orderByAsc("id");
        queryWrapper.last("limit 10");
        for (int i = 0; i < 2; i++) {
            queryWrapper.gt("id", 10);
        }
        List<Task> taskList = taskService.list(queryWrapper);
        log.info("{} ", taskList);
    }

}

执行结果：

2022-08-16 10:04:29.535 DEBUG 57006 --- [           main] c.d.m.a.r.t.m.TaskMapper.selectList      : ==>  Preparing: SELECT id,name FROM task WHERE deleted=false AND (id > ? AND id > ?) ORDER BY id ASC limit 10
2022-08-16 10:04:29.560 DEBUG 57006 --- [           main] c.d.m.a.r.t.m.TaskMapper.selectList      : ==> Parameters: 10(Integer), 10(Integer)
2022-08-16 10:04:29.584 DEBUG 57006 --- [           main] c.d.m.a.r.t.m.TaskMapper.selectList      : <==      Total: 10

复现了。
MyBatis-Plus的Wrapper生成sql时，是一种append操作。

解决办法

使用条件构造器Wrapper时，单独构建每次用到的SQL。

public class BizDataService {

    public void doTask() {
        log.info("任务开始");
        QueryWrapper<BizData> queryWrapper = new QueryWrapper<>();
        queryWrapper.in("status", 1, 2, 3);
        queryWrapper.isNotNull("biz_filed_1");
        queryWrapper.select("id", "biz_filed_1");
        queryWrapper.orderByAsc("id");
        queryWrapper.last("limit 10 ");
        List<BizData> bizDataList = bizDataService.list(queryWrapper);
        if (CollectionUtils.isEmpty(bizDataList)) {
            log.info("没有满足条件的数据");
            return;
        }

        while (true) {
            updateData(traceId, bizDataList);
            if (CollectionUtils.isEmpty(bizDataList)) {
                log.info("任务 完成 ");
                return;
            }
            Long lastId = bizDataList.get(bizDataList.size() - 1).getId();
            log.info(" lastId {} ", lastId);
            /**
             * 这部分有重复，可以额外抽一个buildQueryWrapper的方法来封装这个重复
             */
            queryWrapper = new QueryWrapper<>();
            queryWrapper.in("status", 1, 2, 3);
            queryWrapper.isNotNull("biz_filed_1");
            queryWrapper.select("id", "biz_filed_1");
            queryWrapper.orderByAsc("id");
            queryWrapper.last("limit 10 ");
            queryWrapper.gt("id", lastId);
            bizDataList = bizDataService.list(queryWrapper);
        }

    }
  
}

小结

这次的问题，是由于对MyBatis-Plus的条件构造器不熟悉，在使用时想当然认为会自动进行去重造成的。
后面，在使用新的API或组件时，要有重点地进行测试。若是核心的场景要适当的为这些新API增加UT。

语法糖虽好，用不好会粘牙哦

思路比结论重要

拓展：源码分析

展开聊一下。
拼SQL的逻辑是由类com.baomidou.mybatisplus.core.conditions.AbstractWrapper承担的。
AbstractWrapper 的实际上实现了五大接口：嵌套接口Nested、比较接口Compare、拼接接口Join、函数接口Func、SQL片断函数接口ISqlSegment。 Wrapper的gt
由比较接口Compare和SQL片断函数接口ISqlSegment来承接。

public interface Compare<Children, R> extends Serializable {

    default Children gt(R column, Object val) {
        return this.gt(true, column, val);
    }

    Children gt(boolean condition, R column, Object val);
}

public abstract class AbstractWrapper<T, R, Children extends AbstractWrapper<T, R, Children>> extends Wrapper<T> implements Compare<Children, R>, Nested<Children, Children>, Join<Children>, Func<Children, R> {

    public Children gt(boolean condition, R column, Object val) {
        return this.addCondition(condition, column, SqlKeyword.GT, val);
    }

    protected Children addCondition(boolean condition, R column, SqlKeyword sqlKeyword, Object val) {
        return this.maybeDo(condition, () -> {
            /**
             * 所有的拼sql指令，都是由appendSql来承接
             */
            this.appendSqlSegments(this.columnToSqlSegment(column), sqlKeyword, () -> {
                return this.formatParam((String) null, val);
            });
        });
    }

    /**
     * 所有append就是把所有的条件add到一个List中
     * @param sqlSegments
     */
    protected void appendSqlSegments(ISqlSegment... sqlSegments) {
        this.expression.add(sqlSegments);
    }

}

gt
gt(R column, Object val)
gt(boolean condition, R column, Object val)
大于 >
例: gt(“age”, 18)—>age > 18
https://baomidou.com/pages/10c804/#ne

MyBatis-Plus唯一进行过去重的是last方法：
last

last(String lastSql)
last(boolean condition, String lastSql)

无视优化规则直接拼接到 sql 的最后

注意事项:
只能调用一次,多次调用以最后一次为准有sql注入的风险,请谨慎使用
例: last(“limit 1”)

也和光同尘

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
0
评论
MyBatis-Plus的查询条件构造器的一个注意事项

思路比结论重要
复制链接

扫一扫

专栏目录