接口性能优化之 -----PageHelper

最新推荐文章于 2024-07-04 12:30:58 发布
最新推荐文章于 2024-07-04 12:30:58 发布
阅读量488 收藏
点赞数
文章标签： 数据库 java sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45933454/article/details/130752123
版权
文章讲述了在项目中遇到的一个复杂接口由于涉及大量数据和联表查询导致性能下降，特别是PageHelper的计数操作缓慢。为了解决这个问题，作者重写了SQL查询，通过条件判断避免不必要的联表操作，从而提高了count查询的效率。这种方法在保持原有代码不变的情况下，只需要在MyBatis的XML文件中添加一个特定的_count查询，并确保PageHelper版本在5.0.5以上。
摘要由CSDN通过智能技术生成

问题描述

项目中一个复杂的接口耗时过高，查询的表数据量大，该接口使用了PageHelper进行查询结果进行分页，且该查询sql进行了 联表查询 。通过查看日志，将sql提出，发现是PageHelper组件在进行count计数的时候慢，而这个接口查询因为是分页且走了索引，反而并不慢。

PageHelper.startPage(searchRecordPosition.getPage(), searchRecordPosition.getSize());
List<positionRecordVO> result = positionRecordMapper.getRecordPositionList(searchRecordPosition);

这个是写的sql

<select id="getRecordPositionList" resultType="com.hengtiansoft.hzrc.dal.vo.positionRecordVO">
        SELECT p.id AS positionId,p.NAME AS positionName,p.education_id AS
        educationId,p.working_years_id AS workYearsId,p.recruit_number AS recruitNumber,
        p.high_tech as highTech,p.urgently_hired as urgentlyHired,r.id as recruitmentId,c.id as companyId,
        r.way as positionSource,r.name as recruitmentName,r.status as status,c.name as companyName,
        c.credit_code as creditCode,p.create_ts as releaseTs,
        p.tag_id AS tagId,p.s_region_id AS sRegionId,p.property as property,p.salary_lower as salaryLower,
        p.salary_max as salaryMax,p.contact as contact,p.contact_number as contactNumber,p.update_by as updateBy,r.id as
        recruitmentId
        FROM position_record p
        LEFT JOIN recruitment r ON p.recruitment_id = r.id
        LEFT JOIN company c ON p.company_id = c.id
        <where>
            <if test="null != searchPosition.educationId and searchPosition.educationId != ''">
                AND p.education_id = #{searchPosition.educationId}
            </if>
            <if test="searchPosition.companyId != null  and searchPosition.companyId != ''">
                and p.company_id = #{searchPosition.companyId}
            </if>
            <if test="searchPosition.positionName != null and searchPosition.positionName != ''">
                and p.name LIKE CONCAT('%',#{searchPosition.positionName},'%')
            </if>
            <if test="searchPosition.companyName != null and searchPosition.companyName != ''">
                and c.name LIKE CONCAT('%',#{searchPosition.companyName},'%')
            </if>
            <if test="searchPosition.startTime != null and searchPosition.endTime != null">
                and p.release_ts<![CDATA[>=]]> #{searchPosition.startTime}
                and p.release_ts <![CDATA[<=]]> #{searchPosition.endTime}
                and p.status != '1'
            </if>
            <if test="searchPosition.createStartTs !=null ">
                and p.create_ts <![CDATA[>=]]> #{searchPosition.createStartTs}
            </if>
            <if test="searchPosition.createEndTs !=null ">
                and p.create_ts <![CDATA[<=]]> #{searchPosition.createEndTs}
            </if>
            <if test="searchPosition.property !=null and searchPosition.property != ''">
                and p.property = #{searchPosition.property}
            </if>
            <if test="searchPosition.salaryMax !=null and searchPosition.salaryMax != ''">
                and p.salary_max <![CDATA[<=]]> #{searchPosition.salaryMax}
            </if>
            <if test="searchPosition.salaryLower !=null and searchPosition.salaryLower != ''">
                and p.salary_lower <![CDATA[>=]]> #{searchPosition.salaryLower}
            </if>
            <if test="searchPosition.workingYearsId !=null and searchPosition.workingYearsId != ''">
                and p.working_years_id = #{searchPosition.workingYearsId}
            </if>
            <if test="searchPosition.sRegionId !=null and searchPosition.sRegionId != ''">
                and p.s_region_id = #{searchPosition.sRegionId}
            </if>
            <if test="searchPosition.urgentlyHired !=null and searchPosition.urgentlyHired != ''">
                and p.urgently_hired = #{searchPosition.urgentlyHired}
            </if>
            <if test="searchPosition.tagId != null and searchPosition.tagId != ''">
                and p.tag_id = #{searchPosition.tagId}
            </if>
            <if test="searchPosition.recruitmentName != null and searchPosition.recruitmentName != ''">
                and r.name LIKE CONCAT('%',#{searchPosition.recruitmentName},'%')
            </if>
            <if test="searchPosition.positionSource !=null and searchPosition.positionSource != ''">
                and r.way = #{searchPosition.positionSource}
            </if>
            <if test="searchPosition.status !=null and searchPosition.status != ''">
                and r.status = #{searchPosition.status}
            </if>
        </where>
        order by p.create_ts desc
    </select>

解决方案

问题出在count上，而count慢其实是因为联表，所以我选择重写count，利用if标签，避免联表，做条件查询的时候，由于做了筛选，数据量会小很多，所以不慢

<select id="getRecordPositionList_COUNT" resultType="Long">
        SELECT count(*)
        FROM position_record p
        <if test="searchPosition.recruitmentName != null and searchPosition.recruitmentName != '' and searchPosition.positionSource !=null and searchPosition.positionSource != '' and searchPosition.status !=null and searchPosition.status != ''">
            LEFT JOIN recruitment r ON p.recruitment_id = r.id
        </if>
        <if test="null != searchPosition.companyName and searchPosition.companyName != ''">
            LEFT JOIN company c ON p.company_id = c.id
        </if>
        <where>
            <if test="null != searchPosition.educationId and searchPosition.educationId != ''">
                AND p.education_id = #{searchPosition.educationId}
            </if>
            <if test="searchPosition.companyId != null  and searchPosition.companyId != ''">
                and p.company_id = #{searchPosition.companyId}
            </if>
            <if test="searchPosition.positionName != null and searchPosition.positionName != ''">
                and p.name LIKE CONCAT('%',#{searchPosition.positionName},'%')
            </if>
            <if test="searchPosition.companyName != null and searchPosition.companyName != ''">
                and c.name LIKE CONCAT('%',#{searchPosition.companyName},'%')
            </if>
            <if test="searchPosition.startTime != null and searchPosition.endTime != null">
                and p.release_ts<![CDATA[>=]]> #{searchPosition.startTime}
                and p.release_ts <![CDATA[<=]]> #{searchPosition.endTime}
                and p.status != '1'
            </if>
            <if test="searchPosition.createStartTs !=null ">
                and p.create_ts <![CDATA[>=]]> #{searchPosition.createStartTs}
            </if>
            <if test="searchPosition.createEndTs !=null ">
                and p.create_ts <![CDATA[<=]]> #{searchPosition.createEndTs}
            </if>
            <if test="searchPosition.property !=null and searchPosition.property != ''">
                and p.property = #{searchPosition.property}
            </if>
            <if test="searchPosition.salaryMax !=null and searchPosition.salaryMax != ''">
                and p.salary_max <![CDATA[<=]]> #{searchPosition.salaryMax}
            </if>
            <if test="searchPosition.salaryLower !=null and searchPosition.salaryLower != ''">
                and p.salary_lower <![CDATA[>=]]> #{searchPosition.salaryLower}
            </if>
            <if test="searchPosition.workingYearsId !=null and searchPosition.workingYearsId != ''">
                and p.working_years_id = #{searchPosition.workingYearsId}
            </if>
            <if test="searchPosition.sRegionId !=null and searchPosition.sRegionId != ''">
                and p.s_region_id = #{searchPosition.sRegionId}
            </if>
            <if test="searchPosition.urgentlyHired !=null and searchPosition.urgentlyHired != ''">
                and p.urgently_hired = #{searchPosition.urgentlyHired}
            </if>
            <if test="searchPosition.tagId != null and searchPosition.tagId != ''">
                and p.tag_id = #{searchPosition.tagId}
            </if>
            <if test="searchPosition.recruitmentName != null and searchPosition.recruitmentName != ''">
                and r.name LIKE CONCAT('%',#{searchPosition.recruitmentName},'%')
            </if>
            <if test="searchPosition.positionSource !=null and searchPosition.positionSource != ''">
                and r.way = #{searchPosition.positionSource}
            </if>
            <if test="searchPosition.status !=null and searchPosition.status != ''">
                and r.status = #{searchPosition.status}
            </if>
        </where>
    </select>

使用方式

原有的代码不需要动，只需要在mybatis的xml文件里添加一个count查询
这里注意以下三点即可：

1.id和对应的查询语句保持一致，并且以 _COUNT 结尾，注意大小写
2.入参和对应的查询语句保持一致
3.出参为 resultType=“Long”
4.PageHelper的版本一定要在 5.0.5 以上

阿离83
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
优化分页插件pagehelper
05-25 600
使用mybatis+pagehelper过程中，发现pagehelper中自动生成的count语句性能很差，直接在现在查询外面套了一个count查询，跟踪源代码后定位到生成count的判断处（CountSqlParser.java）： /** * 将sql转换为count查询 * * @param select */ public void sqlToCount(Select select) { SelectBody selectBody = select.getSelectBody()
使用PageHelper分页插件时踩过的坑
吾本樵夫 的技术专栏
12-26 2900
前言 起初，在开发过程中完成了一个分页查询的接口。当时测试了一下，分页信息和数据也一并返回了，没有仔细看返回的数据，本以为接口已经大功告成了。然而并没有结束… 后来在测试数据增加多的时候，不妙的事情发生了。分页参数中很明显不对的就是总条数和总页数。下面进行事故的分析 背景 数据库：sqlserver orm：mybatis 分页查询异常表现 bug修复前的代码 数据库查询的数据 /...
使用PageHelper导致查询缓慢的问题
qq_40561126的博客
03-19 3381
由于业务需要，需要在原来的项目中增加分页查询的功能，就用到啦PageHelper，对于绝大多数的查询都能在可以接受的时间内查到但是有一个查询却慢的离谱需要四秒以上才能返回数据，打日志发现耗时也不是在执行count以及查询时发生的，而是在执行count之前有一个3到4秒的中断。 解决方案 从网上搜的解决PageHelper的方法大致有两种： 修改数据库表的数据库引擎为MyISAM 创建索引表，用来进行count查询 但这两种方法明显不适合我们，我们的数据库表中数据并不多（远未达百万），并且我们的性能问
pagehelper自定义count，pagehelper分页查询总数慢
chuyang11的博客
06-18 658
在使用pagehelper插件在查询百万级数据sql查询count时，会自动生成select count(0) from (查询数据的sql语句) ，有时会把其他条件与联表放进去，查询count查询时间很长。上面的 countSuffix 使用的默认值 _COUNT，分页插件会自动获取到 selectLeftjoin_COUNT 查询，这个查询需要自己保证结果数正确。如果存在就使用手写的 count 查询，如果不存在，仍然使用之前的方式自动创建 count 查询。1、自定义手写 count 查询。
mybatis PageHelper 插件分页查询优化方案
xiaoweiwei11的博客
04-10 1242
分页插件中的计算Count的sql语句，会将需要分页的所有数据查出来然后生成一个临时表，再去计算Count。如果数据量比较大，生产临时表就多查询了一次表，会导致最后Count计算会十分慢，从而影响分页的结果。
PageHelper插件count效率优化
weixin_45712835的博客
01-02 4414
对于百万级以上的数据表，只要添加好索引，limit语句的速度很快，但是count语句的速度可能会非常慢，导致出现慢sql。下面结合项目中实际遇到的一次慢sql优化，对PageHelper插件的count效率优化做一个总结。
Pagehelper分页查询性能优化
手心朝下的博客
05-27 7393
pageHelper单表分页查询的效率其实是很快的，但是对于多张表join查询可能会导致分页查询效率变慢，主要原因出现在pageHelper在执行分页的过程中是先查询总条数的，每次分页都是执行这个查询总条数的sql，这个过程是非常慢的，不过这个还是取决于数据库中表数据量非常大的情况，像单表数据超过百万条之后，可能会导致查询sql总条数超过1分钟，那么每次分页查询的时间全部都浪费在查询总条数上了，这肯定是不可取的，pageHelper默认是执行当前的查询sql进行查询分页总条数，单论查询数据是很快的 limi
分页插件PageHelper的使用及优化
leeta的博客
07-21 7025
介绍 PageHelper是mybatis框架上的一款分页插件。通过它友好的api设计，可省去写count，分页sql嵌套的繁琐工作。同时插件内部兼容不同数据库间(mysql、Oracle等)的分页实现。开发者只需关注具体业务sql，其他的统计封装交给PageHelper插件动态处理。 作为java后端开发者，这是一款必不可少的基础组件，大大减少了手动写分页列表查询的工作量。 官方开源地址： GitHub - pagehelper/Mybatis-PageHelper: Mybatis通用分页插件
pagehelper-fix分页插件
12-04
2. **优化的分页效率**：PageHelper通过计算总记录数和分页查询分开执行，避免了全表扫描带来的性能问题，提升了分页查询的速度。 3. **灵活的API接口**：提供了多种分页参数设置方式，如RequestParam、Page对象、...
Mybatis-PageHelper-5.3.1.zip
07-06
5. **性能优化**：PageHelper内部实现了高效的分页算法，减少了不必要的数据库交互，提高了查询效率。 6. **易于集成**：只需在项目中引入PageHelper的依赖，并简单配置，即可快速集成到Mybatis项目中。 在实际使用...
springboot-mybatis-pagehelper.zip
02-24
通过PageHelper，我们可以避免手动编写复杂的分页SQL，同时享受到其带来的性能优化。在实际应用中，开发者可以根据项目需求对配置进行微调，以达到最佳的分页效果。通过上述步骤，你将能够快速地在SpringBoot项目中...
Mybatis分页插件 - PageHelper.zip
07-16
通过阅读并分析PageHelper的源代码，例如在GitHub上的pagehelper-fix分支，我们可以深入理解其内部实现机制，包括动态SQL的生成、数据库方言的处理、拦截器的使用等，这对于提升开发技能和优化项目性能都大有裨益。...
【分享】pagehelper实现原理和优化方案
清风唱诗人的博客
10-14 178
大数据量导致查询变慢的原因和实现原理 https://blog.csdn.net/weixin_44145478/article/details/107025158?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.channel_param&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFro
大数据量下 PageHelper 分页查询性能问题的解决办法
Java知音
02-06 2350
作者：岁月安然blog.csdn.net/baidu_38083619/article/details/82463058前因项目一直使用的是PageHelper实现分页功能，项目前期数据量...
Mybatis分页插件 - PageHelper很好很强大，转载
weixin_33971130的博客
04-24 114
1.引入分页插件1.引入Jar包如果你想使用本项目的jar包而不是直接引入类，你可以在这里下载各个版本的jar包（点击Download下的jar即可下载）https://oss.sonatype.org/content/repositories/releases/com/github/pagehelper/pagehelper/http://repo1.maven.org/m...
ruoyi mybatis pagehelper 分页优化（自定义limit位置）clickhouse 外部数据源
最新发布
vransy的博客
07-04 385
自定义limit
大数据量分页优化，应对PageHelper
九三网络日志
01-25 1054
大数据量分页优化，应对PageHelper
pagehelper 联表 分页查询性能优化 -- (sql允许先分页,后联表)
hjl21的博客
01-29 7513
优化的前提条件,分页的sql允许先分页,联表并不影响最后的结果集,只是补齐所需字段信息. 一,pagehelper改造思路      1,5.0.0以上版本支持手动count查询语句.详见 https://github.com/pagehelper/Mybatis-PageHelper/      2,自定义拦截器,对有别名为"AS limitable" 的子查询sql进行sql拼接,将 本应拼...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值