由于项目数据量过大,每月数据量在3000w左右,最多的一个月达到6000w,所以表进行了按月分区,但即使是这样在使用PageHelper分页插件时还是遇到一个效率问题。在数据量很大的月份查询倒数第二页数据时sql查询需要20s左右,但是在查询最后一页时则需要90s,导致接口调用超时(我们接口超时时间设置是60s),于是开始找原因,通过日志发现在查询最后一页时拼接的sql是从最后一页的第一条数据查到最后一页的第一条数据+页大小的数据,意思就是假如表有95条数据,每页10条数据,那么最后一页数据查询的就是90到100,实际上整个表数据量只有95条,所以导致查询的最后5条实际上是空数据,导致的效率低下。
知道了导致最后一页查询慢的原因之后就好办了。解决方法就是通过判断查询时是否为最后一页,如果是则将查询的结束条数设置为表的最大数据量,而不是之前的最后一页的第一条数据数+页大小,这样就能做到不做最后一页的空数据查询而提高效率了。下面是代码