redis和mysql数据做混合分页查询_分页查询和redis

在处理大量数据的分页查询时,传统的MySQL和Cassandra在某些情况下性能不佳。文章介绍了如何通过Redis的SortedSet结构进行高效分页查询,解决了MySQL和Cassandra在长序列中获取特定数据段的问题。将topic的replyId作为SortedSet的member,使用replyId作为score,从而实现任意页的快速获取。同时,为了节省内存,采用缓存索引和分片策略,确保活跃数据的快速访问并控制内存占用。
摘要由CSDN通过智能技术生成

当查询结果包含的数据量非常大的时候,往往需要分页查询。本文总结一些分页查询的技巧,及如何用mysql cassandra和redis等实现分页查询的方案。

问题

我在做论坛的是时候遇到了如下的问题。论坛里可以有很多的主题topic,每个topic对应到很多回复reply。现在要查询某个topic下按照replyTime升序排列的第pageNo页的reply,每页pageSize个reply。 reply是存放在mysql中的。以前的实现是利用mysql的limit查询

select * from reply where topicId = ? order by replyTime asc limit (pageNo - 1) * pageSize, pageSize

由于现在有很多的主题的回复很多,当有人查询第几百甚至几千页的时候,mysql性能表现很不好。“select limit offset, size” 只要offset太大,传统的关系型数据库的性能表现都不好。 如果能够利用带索引的查询条件先过滤掉一部分数据,就可以大大提高性能,比如:

select

*

from

reply

where

topicId = ?

and replyId > lastReplyIdOfCurrentPage

order by

replyTime asc

limit

(pageNo - currentPageNo) * pageSize, pageSize

lastReplyIdOfCurrentPage 是当前页的最后一个reply的id。currentPageNo是当前页的页号。这里用replyId过滤条件,把前面页的内容过滤掉,这样减少

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值