SpringBoot百万级数据分页查询效率飞升

已于 2022-10-23 14:46:32 修改
阅读量2.1k 收藏 13
点赞数
分类专栏： springBoot Mysql 文章标签： spring boot java mysql
于 2022-10-23 14:27:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hsadfdsahfdsgfds/article/details/127474046
版权

百万级数据自定义分页查询效率飞升

一.慢的原因？

offset+limit方式的分页查询，当数据表超过100w条记录，性能会很差。
主要原因是offset limit的分页方式是从头开始查询，然后舍弃前offset个记录，所以offset偏移量越大，查询速度越慢。
mybatis-plus 的分页插件也许存在这个问题。

二.如何优化？

方式1:基于索引再排序，利用MySQL支持ORDER操作可以利用索引快速定位部分元组,避免全表扫描
#大于上一页最后一个id
SELECT * FROM table WHERE id>=10000 ORDER BY id ASC LIMIT 0,20
方式2:利用子查询/连接+索引快速定位元组的位置,然后再读取元组
SELECT a.* FROM table a JOIN (select id from table limit 100000, 20) b ON a.id = b.id

三.上代码(博主用的方式2)

1.自定义Page
@Data
public class MyPage<T> implements Serializable {
    private List<T> records; //结果集
    private Integer total; //符合条件总条数
    private Integer size; //每页记录数
    private Integer current; //当前处于第几页
    private List<T> orders;
    private final boolean optimizeCountSql = true;
    private final boolean hitCount = false;
    private Integer countId;
    private Integer maxLimit;
    private final boolean searchCount = true;
    private Integer pages; // 符合条件总页数
}
2.ServiceImpl 实现类
public MyPage<XXXPageVo> getPageXXX(XXXDto dto) {
        QueryWrapper<XXX> qw = new QueryWrapper<>();
        qw.lambda() //以下条件是我的业务条件，自行变更自己业务条件
                .eq(ObjectUtils.isNotEmpty(dto.getOrderId()),XXX::getOrderId,dto.getOrderId())
                .eq(ObjectUtils.isNotEmpty(dto.getOrderNo()) && dto.getOrderNo().length() == 14,XXX::getNewSysOrderNo,dto.getOrderNo())
                .eq(ObjectUtils.isNotEmpty(dto.getOrderNo()) && dto.getOrderNo().length() > 14,XXX::getOrderNo,dto.getOrderNo())
                .eq(ObjectUtils.isNotEmpty(dto.getMainDriverId()),XXX::getMainDriverId,dto.getMainDriverId())
                .like(ObjectUtils.isNotEmpty(dto.getMainDriverName()),XXX::getMainDriverName,dto.getMainDriverName())
                .like(ObjectUtils.isNotEmpty(dto.getMainDriverVehicleNo()),XXX::getMainDriverVehicleNo,dto.getMainDriverVehicleNo())
                .eq(ObjectUtils.isNotEmpty(dto.getKmDriverId()),XXX::getKmDriverId,dto.getKmDriverId())
                .like(ObjectUtils.isNotEmpty(dto.getKmDriverName()),XXX::getKmDriverName,dto.getKmDriverName())
                .like(ObjectUtils.isNotEmpty(dto.getKmDriverVehicleNo()),XXX::getKmDriverVehicleNo,dto.getKmDriverVehicleNo())
                .eq(ObjectUtils.isNotEmpty(dto.getLineGroupId()),XXX::getLineGroupId,dto.getLineGroupId())
                .eq(ObjectUtils.isNotEmpty(dto.getTotalLineGroupId()),XXX::getTotalLineGroupId,dto.getTotalLineGroupId())
                .eq(ObjectUtils.isNotEmpty(dto.getPassengerMobile()),XXX::getPassengerMobile,dto.getPassengerMobile())
                .eq(ObjectUtils.isNotEmpty(dto.getKmDriverScore()),XXX::getKmDriverScore,dto.getKmDriverScore())
                .eq(ObjectUtils.isNotEmpty(dto.getZtDriverScore()),XXX::getZtDriverScore,dto.getZtDriverScore())
                .eq(ObjectUtils.isNotEmpty(dto.getUid()),XXX::getUid,dto.getUid())
                .eq(ObjectUtils.isNotEmpty(dto.getStatus()),XXX::getStatus,dto.getStatus());
        if(ObjectUtils.isNotEmpty(dto.getStartArrangeRunTime()) && ObjectUtils.isNotEmpty(dto.getEndArrangeRunTime())){
            long sl = dto.getStartArrangeRunTime().toInstant(ZoneOffset.ofHours(8)).toEpochMilli()/1000;
            long el = dto.getEndArrangeRunTime().toInstant(ZoneOffset.ofHours(8)).toEpochMilli()/1000;
            qw.lambda().between(XXX::getArrangeRunTime,sl,el);
        }
        if(ObjectUtils.isNotEmpty(dto.getStartUpdateTime()) && ObjectUtils.isNotEmpty(dto.getEndUpdateTime())){
            long slu = dto.getStartUpdateTime().toInstant(ZoneOffset.ofHours(8)).toEpochMilli()/1000;
            long elu = dto.getEndUpdateTime().toInstant(ZoneOffset.ofHours(8)).toEpochMilli()/1000;
            qw.lambda().between(XXX::getUpdateTime,slu,elu);
        }
        // CurrentSize 自定义字段 例如: 现在分页处于第3页，每页条数是10条,那么第四页需要从
        // 第31条开始查询，抛弃前面30条数据,也就有了下面的这行代码 
        dto.setCurrentSize(dto.getCurrent() * dto.getSize() - dto.getSize());
        Integer total = baseMapper.selectCount(qw); // 关键点(查询出符合条件的总条数)
        List<XXXPageVo> resList = baseMapper.pageComments(dto);
        //以下是自定义Page拼装
        MyPage<XXXPageVo> page = new MyPage<>();
        int pages = (int) Math.ceil((double) total / dto.getSize());
        page.setTotal(total);
        page.setPages(pages);
        page.setRecords(resList);
        page.setSize(dto.getSize());
        page.setCurrent(dto.getCurrent());
        return page;
    }

3.Mapper.xml

<select id="pageComments" parameterType="包名.XXXDTO" resultType="包名.XXXPageVO">
        SELECT
        a.id,
        uniacid,
        order_no,
        order_id,
        total_line_group_id,
        total_line_group_name,
        line_group_id,
        zt_driver_label_ids,
        zt_driver_score,
        zt_driver_other_comment,
        zt_driver_label_str,
        main_driver_vehicle_no,
        km_driver_label_ids,
        km_driver_score,
        km_driver_label_str,
        description,
        main_driver_id,
        km_driver_other_comment,
        main_driver_name,
        km_driver_id,
        km_driver_name,
        km_driver_vehicle_no,
        other_comment_content,
        order_name,
        from_unixtime( arrange_run_time, '%Y-%m-%d %H:%i:%s' ) AS arrange_run_time,
        passenger_name,
        passenger_mobile,
        uid,
        wx_name,
        new_sys_order_no,
        recovery_time,
        from_unixtime( update_time, '%Y-%m-%d %H:%i:%s' ) AS update_time,
        update_user_id,
        update_user_name,
        is_del,
        STATUS,
        from_type
        FROM
        table a
        INNER JOIN
        (
        SELECT
        id
        FROM
        table
        where
        is_del = 0
        <if test="XXXDTO.orderId != null and XXXDTO.orderId != '' ">
            AND order_id = #{XXXDTO.orderId}
        </if>
        <if test="XXXDTO.orderNo != null and XXXDTO.orderNo != '' and XXXDTO.orderNo.length == 14 ">
            AND new_sys_order_no = #{XXXDTO.orderNo}
        </if>
        <if test="XXXDTO.orderNo != null and XXXDTO.orderNo != '' and XXXDTO.orderNo.length &gt; 14 ">
            AND order_no = #{XXXDTO.orderNo}
        </if>
        <if test="XXXDTO.mainDriverId != null and XXXDTO.mainDriverId != '' ">
            AND main_driver_id = #{XXXDTO.mainDriverId}
        </if>
        <if test="XXXDTO.mainDriverName != null and XXXDTO.mainDriverName != '' ">
            AND main_driver_name like CONCAT('%',CONCAT(#{XXXDTO.mainDriverName},'%'))
        </if>
        <if test="XXXDTO.mainDriverVehicleNo != null and XXXDTO.mainDriverVehicleNo != '' ">
            AND main_driver_vehicle_no like CONCAT('%',CONCAT(#{XXXDTO.mainDriverVehicleNo},'%'))
        </if>
        <if test="XXXDTO.kmDriverId != null and XXXDTO.kmDriverId != '' ">
            AND km_driver_id = #{XXXDTO.kmDriverId}
        </if>
        <if test="XXXDTO.kmDriverName != null and XXXDTO.kmDriverName != '' ">
            AND km_driver_name like CONCAT('%',CONCAT(#{XXXDTO.kmDriverName},'%'))
        </if>
        <if test="XXXDTO.kmDriverVehicleNo != null and XXXDTO.kmDriverVehicleNo != '' ">
            AND km_driver_vehicle_no like CONCAT('%',CONCAT(#{XXXDTO.kmDriverVehicleNo},'%'))
        </if>
        <if test="XXXDTO.lineGroupId != null and XXXDTO.lineGroupId != '' ">
            AND line_group_id = #{XXXDTO.lineGroupId}
        </if>
        <if test="XXXDTO.totalLineGroupId != null and XXXDTO.totalLineGroupId != '' ">
            AND total_line_group_id = #{XXXDTO.totalLineGroupId}
        </if>
        <if test="XXXDTO.passengerMobile != null and XXXDTO.passengerMobile != '' ">
            AND passenger_mobile = #{XXXDTO.passengerMobile}
        </if>
        <if test="XXXDTO.kmDriverScore != null and XXXDTO.kmDriverScore != '' ">
            AND km_driver_score = #{XXXDTO.kmDriverScore}
        </if>
        <if test="XXXDTO.ztDriverScore != null and XXXDTO.ztDriverScore != '' ">
            AND zt_driver_score = #{XXXDTO.ztDriverScore}
        </if>
        <if test="XXXDTO.uid != null and XXXDTO.uid != '' ">
            AND uid = #{XXXDTO.uid}
        </if>
        <if test="XXXDTO.status != null and XXXDTO.status != '' ">
            AND status = #{XXXDTO.status}
        </if>
        <if test="XXXDTO.startArrangeRunTime != null and XXXDTO.endArrangeRunTime != null ">
            AND arrange_run_time BETWEEN unix_timestamp(#{XXXDTO.startArrangeRunTime}) AND unix_timestamp(#{XXXDTO.endArrangeRunTime})
        </if>
        <if test="XXXDTO.startUpdateTime != null and XXXDTO.endUpdateTime != null">
            AND update_time BETWEEN unix_timestamp(#{XXXDTO.startUpdateTime}) AND unix_timestamp(#{XXXDTO.endUpdateTime})
        </if>
        ORDER BY update_time DESC
        LIMIT #{XXXDTO.currentSize},
        #{XXXDTO.size}
        ) b on a.id = b.id
    </select>

关于效果图也就不截图了，大多数博客大概也用这两种方式，博主只是整合了一下逻辑，避一避坑，并用于线上项目，效率是真的提升了几十个倍，如果再加入数据库索引辅助的话会更快

@（木）
关注
  • 0
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
springboot整合mybatis集成分页查询事务配置，页面模板
09-20
springboot项目进行整合了mybtis配置dbcp数据源，拦截器配置，静态资源访问，集成的分页查询和相关的事务配置，以及前端跳转的模板选择等，
SpringBoot实现分页查询
weixin_47267628的博客
11-22 1887
*##SpringBoot实现分页查询在SpringBoot整合实现分页查询。
springboot 分页查询参数_精通SpringBoot--分页查询功能的实现
weixin_39708708的博客
01-12 671
本文将介绍如何实现分页查询功能，推荐使用github的pagehelper插件实现(事实上大家基本都是这么干的)，但本文的实现方式和大多数不同，废话少说，现在就带着大家看看区别在哪里。先看pom.xml依赖：相当简单的mybatis-spring依赖+mysql+pagehelper+fastjsonorg.springframework.bootspring-boot-starter-webor...
springBoot + mongoDB分页查询优化设计实践（笔记二）
sinat_34806137的博客
01-25 1777
mongoDB分页查询优化设计实践背景设计原理及开发过程方式1方式2关键代码具体可详见项目 背景 这个是针对上一篇博客的具体实现，主要是为了解决大数据量下（比如：物联设备上报数据的查询），mongoDB采用skip() + limit()越往后翻页查询越慢的问题。 设计原理及开发过程 可以根据某个字段（值不重复）进行排序查询，边查询边返回下一次的查询起点，边查询边缩小查询范围，向后查询查询效率就可以越高 方式1 主键设计规则： _id = 设备ID + “.” + 上报时间（时间戳整数，秒为单位）。 注意事
SpringBoot使用redis解决分页查询大量数据慢的情况
少年有事问春风
09-13 3267
SpringBoot使用redis解决分页查询大量数据慢的情况
spring Boot查询数据分页显示的方法实例
08-18
主要给大家介绍了关于spring Boot查询数据分页显示的相关资料，文中通过示例代码介绍的非常详细，对大家学习或者使用spring Boot具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧
优化大数据量查询方案——SpringBoot（Cloud）整合ES
goGoing_的博客
07-18 3493
实际业务场景中，多端的查询功能都有很大的优化空间。常见的处理方式有建索引、建物化视图简化查询逻辑、DB层之上建立缓存、分页…然而随着业务数据量的不断增多，总有那么一张表或一个业务，是无法通过常规的处理方式来缩短查询时间的。在查询功能优化上，作为开发人员应该站在公司的角度，本着优化客户体验的目的去寻找解决方案。本人有幸做过Tomcat整合solr，今天一起研究一下当前比较火热的Elasticsearch搜索引擎。Elasticsearch是一个非常强大的搜索引擎。它目前被广泛地使用于各个IT公司。......
SpringBoot 应用轻松实现百万数据重清算
周洲 （Julie）
01-07 3367
前言：        之前有些历史数据统计复杂，没有想好计算规则，就先把数据json串存到库里。现在需要对json进行计算，求和，取最大等，这些可以用java8里面的stream进行计算，然后单独存到一个表里面。历史表里大概300万条数据，一次5000条数据循环计算。大概20多分钟可以解决这些数据。        需要注意的是Mybatis虽然对sql的长度不做限制（我需要批量插入），但是my...
SpringBoot + Mybaits 处理百万数据，内存溢出？不存在的！
weixin_43379487的博客
01-20 2262
springboot + mybaits 对数据库进行百万级别大数据量读取，并对这些数据进行操作，应用能顶得住吗？
SpringBoot 实现 MySQL 百万级数据量导出并避免 OOM 的解决方案
weixin_42409103的博客
03-31 290
百万数据量导出csv文件
MySQL百万级数据量分页查询方法及其优化建议
12-14
数据库SQL优化是老生常谈的问题，在面对百万级数据量的分页查询，又有什么好的优化建议呢？下面将列举了一些常用的方法，供大家参考学习！ 方法1: 直接使用数据库提供的SQL语句 语句样式: MySQL中,可用如下方法: ...
MySQL百万级数据分页查询优化方案
09-09
在mysql中limit可以实现快速分页，但是如果数据到了几百万时我们的limit必须优化才能有效的合理的实现分页了，否则可能卡死你的服务器哦。
SpringBoot学习基础一优化分页查询
最新发布
qq_63647404的博客
01-25 525
使用分页查询插件来进行分页查询优化
SpringBoot实现分页的四种方式
热门推荐
小钟不想敲代码
08-31 4万+
SpringBoot实现分页的四种方式
SpringBoot实现分页查询——基于SpringBoot和Vue的后台管理系统项目系列博客（七）
IronmanJay的博客
10-30 1875
今天博客的主要内容包括：使用Sql实现分页查询、跨域问题的解决、将数据渲染至前端、动态分页功能的实现、根据用户名进行模糊查询的动态分页等内容。分页功能非常常用，经常可以应用到其他地方，还有模糊检索等内容都是Web应用常见内容。下面就开始今天的内容！
Springboot系列文章（九）：添加redis，优化查询速度以及分布式锁的应用场景
qq_40853919的博客
04-16 847
在查询的时候，我们会遇到因为数据量太大，查询的数据太多，导致加载速度缓慢。给用户带来不好的体验，那么有什么方法可以解决吗？这里我们会演示两种解决方案。
基于SpringBoot实现的分页查询（分分钟钟上手）
a778203081的博客
06-07 2029
这里是使用的hibernate(不需要写sql)和springboot 也可使用 MyBatis（推荐使用）其中，方法用于查询包含关键字的用户列表，Pageable参数用于指定分页相关信息，例如当前页码、每页记录数等。其中，getUsers方法用于查询用户列表，并将查询结果封装在中返回给客户端。以上是使用Spring Boot实现分页查询的基本示例。需要注意的是，不同的ORM框架和数据库可能有所差异，具体实现方式也会有所不同。
springboot 怎么整合数据分页
07-22
在Spring Boot中，整合数据分页可以使用Spring Data JPA和Spring Data Redis等相关组件来实现。下面是一个示例，演示如何在Spring Boot中使用Spring Data JPA进行数据分页。 首先，确保在pom.xml文件中添加了以下依赖： ```xml <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-jpa</artifactId> </dependency> ``` 接下来，创建一个JPA实体类，例如`User`： ```java @Entity @Table(name = "users") public class User { @Id @GeneratedValue(strategy = GenerationType.IDENTITY) private Long id; private String name; // 省略其他属性和方法 } ``` 然后，创建一个继承自`JpaRepository`的接口，例如`UserRepository`： ```java public interface UserRepository extends JpaRepository<User, Long> { } ``` 在需要进行分页的地方，注入`UserRepository`并使用`Pageable`接口进行分页查询。例如，在一个Controller类中： ```java @RestController @RequestMapping("/users") public class UserController { @Autowired private UserRepository userRepository; @GetMapping public Page<User> getUsers(Pageable pageable) { return userRepository.findAll(pageable); } } ``` 上述代码中，我们使用`userRepository.findAll(pageable)`方法来获取分页数据，其中`pageable`参数包含了分页的相关信息，例如页码、每页大小等。 最后，你可以通过访问`/users`接口来获取分页数据，例如`/users?page=0&size=10`表示获取第一页，每页大小为10条的数据。 这样，你就可以在Spring Boot中整合数据分页了。希望对你有所帮助！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值