MySQL 使用order by limit 分页重复问题

最新推荐文章于 2024-04-10 14:51:12 发布
最新推荐文章于 2024-04-10 14:51:12 发布
阅读量5.2k 收藏
点赞数 1
分类专栏： SQL 文章标签： sql 分页 重复
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34092585/article/details/93743559
版权
MySQL在使用ORDER BY LIMIT进行分页时，由于堆排序的不稳定性，可能导致相同排序字段的行返回顺序不确定，从而出现重复数据。官方文档确认这种情况的排序顺序是不确定的。解决方案包括前端数据去重和后端添加额外的排序字段。
摘要由CSDN通过智能技术生成

一、问题描述

执行以下sql，在数据没有插入删除的情况下，返回的数据可能不一致，导致线上出现重复数据

select xxx from table where xxx order by xxx limit offset

二、产生原因

在mysql 5.6版本，mysql对order by limit 做了一个优化，使用了priority queue，priority queue使用的是堆排序策略，在排序过程中虽然还要对n个数据进行排序，但是只需要消耗堆大小的内存就可以完成排序，提高了排序的空间效率。

直接原因： 堆排序是不稳定的，当order by字段一致时，会造成输出结果顺序不一致。

官方文档：文档中明

最低0.47元/天 解锁文章
我爱双面奶
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
在MySQL中使用LIMIT进行分页的方法
12-15
`LIMIT`子句在SQL查询中被用来限制返回的结果集大小，通常与`ORDER BY`一起使用以实现分页功能。在本例中，我们讨论如何在MySQL中优化`LIMIT`进行分页查询的性能。 首先，我们来看一个慢查询的例子： ```sql ...
MySQL 使用 order by 某个字段 limit offset 分页排序可能会导致数据丢失和重复
悟已往之不谏，知来者之可追
12-22 353
如果查询数据进行排序和分页时，如果排序字段没有使用索引，一定要添加一个有索引的字段，比如主键 ID，保证顺序稳定。否则，查询的数据会导致数据丢失和重复。理解此问题出现的原因后，赶紧去看看你的项目中有没有这种情况吧！要不然出问题就不好办了！相关 SQL 语句COLLATE utf8_general_ci DEFAULT NULL COMMENT '分类名称',`sort` int DEFAULT NULL COMMENT '分类排序',
mysql中，写limit得记得排序……
Allen的技术天空
03-30 9374
<br />用mysql的limit进行分页。。发现竟然有些数据没显示在页面上。。总共才24条数据。楞找不到。。 <br />后来把语句弄到mysql上查了一下才知道。这条语句中的limit有问题。。有些数据在第二页被重复显示了。。 <br />非常郁闷。。下面给截图 <br />查第一页的语句 <br /><br /> <br /> SQL codeSELECT*FROM article a where a.type in (1,2,4) limit 0,20;<br />第一页的结果 <br />(注意
MySQL - 当LIMIT 进行分页时，为什么出现了重复数据
杜海的博客
04-20 2069
为了避免类似的问题，我们可以将主键(或者具有唯一性的字段)排序引入需要排序的业务字段后。
解决 MySQL 分页数据错乱重复
weixin_34104341的博客
05-04 505
前言 一天，小明很着急地在通讯工具上说：这边线上出现了个奇怪的问题，麻烦 DBA 大大鉴定下，执行语句 select xx from table_name wheere xxx order by 字段A limit offset;， 表数据总共 48 条，分页数量正常，但出现了结果混杂的情况，第一页的数据出现在了第二页上；如果 order by 字段B 就不会出现这个现象，怎么会这样呢！ 其实，...
mysql 分页 数据重复数据_MySQL 分页数据错乱重复
weixin_33711795的博客
01-19 470
select xx from table_name wheere xxx order by 字段A limit offset;，表数据总共 48 条，分页数量正常，但出现了结果混杂的情况，第一页的数据出现在了第二页上；如果 order by 字段B 就不会出现这个现象，怎么会这样呢！If multiple rows have identical values in the ORDER BY col...
Mysql排序和分页(order by&limit)及存在的坑
12-14
本文将详细介绍如何使用`ORDER BY`和`LIMIT`语句进行排序和分页，并讨论其中可能遇到的问题。 首先，排序查询（`ORDER BY`）允许我们根据一个或多个字段对查询结果进行升序或降序排列。基本语法如下： ```sql ...
mysql limit 分页的用法及注意要点
09-09
对于大数据集，建议使用`ORDER BY`结合`LIMIT`优化查询，避免使用大的偏移量。 2. **效率优化**：如果查询中包含`ORDER BY`，应尽可能减少`OFFSET`值，因为`ORDER BY`会增加额外的计算成本。 3. **不确定性**：当...
浅谈MySQL分页Limit的性能问题
09-09
`LIMIT` 的使用方式通常是配合`ORDER BY` 来指定返回数据的顺序，其语法结构为 `LIMIT offset, limit_count`。`offset` 指定了查询开始的位置，`limit_count` 定义了要返回的记录数量。例如，`LIMIT 10, 20` 会返回...
Mysql Limit 分页查询优化详解
09-10
总的来说，MySQL LIMIT分页查询的优化主要集中在减少不必要的行扫描、利用索引以及采用更适合大数据量的查询策略。通过这些方法，可以显著提升分页查询的性能，尤其是对于那些需要跳过多行的情况。在实际应用中，应...
Mysql分页查询出现重复数据
zhuxiang997的博客
02-22 2168
1、执行sql语句，根据商品销量来进行分页查询 SELECT goods_spu.* FROM goods_spu goods_spu WHERE goods_spu.`shop_id` = '1450999734971478018' AND goods_spu.`shelf` = 1 AND goods_spu.tenant_id = '1' ORDER BY goods_spu.sale_num DESC LIMIT 0,10 当所有商品销量都为0或者都一样的情况下就会出现不同分页参...
【知识积累】关于解决生产Limit导出重复数据的心路历程
Darren的博客
08-14 638
关于解决生产BUG导出重复数据的心路历程
limit offset 根据id查询，不连续会重复
最新发布
悟已往之不谏，知来者之可追
04-10 94
比如1-100 的区间，有不连续的，id从98 直接到100 少了。那么此时limit 100 就会把下个区间的101也查出来，而下个区间，假如 limit offset 根据id查询，不连续，则返回数据会重复。比如101 ,也会再次被查询出来。
order by 导致分页出现重复数据问题
妖怪的博客
03-01 1319
原因 有时候我们需要按照时间排序, 并配合 limit 进行分页查询. 但是, 当 order by 的时间相同的时候 (数据不唯一), 系统对数据的排序可能变得随机化, (即一会儿这条数据在前面, 一会儿这条数据在后面). 所以, 当翻页的时候我们很容易便看到了重复的数据. 解决办法 在使用 order by 的时候, 在本身需要排序的 目标字段 之后再加上一个 唯一字段 (比如PK或者UNIQ...
MySQL分页时使用 limit+order by 会出现数据重复问题
laifengtao的博客
12-20 1344
MySQL分页时使用 limit+order by 会出现数据重复问题(踩坑)
MySQL中ORDER BY与LIMIT一起使用（有坑）
weixin_30527143的博客
05-16 2012
1. 现象与问题 ORDER BY排序后，用LIMIT取前几条，发现返回的结果集的顺序与预期的不一样 下面是我遇到的问题： 可以看到，带LIMIT与不带LIMIT的结果与我预期的不一样，而且“很不可思议”，真是百思不得其解 后来百度了一下，如果order by的列有相同的值时，mysql会随机选取这些行，为了保证每次都返回的顺序一致可以额外增加一个排序字段（比如：id），...
MYSQL基础之排序(ORDER BY)和分页(LIMIT)
u011863822的博客
12-18 4566
其实对数据的操作，必然会使用一个操作，就是排序。 ORDER BY(排序) 那就是这个关键字，先看演示。 -- 安装工资排序 SELECT empno, ename, job, mgr, hiredate, sal, comm, deptno FROM test.emp ORDER BY sal 当然这个也可以有多个字段 SELECT empno, ename, job, mgr, hiredate, sal, comm, deptno FROM test.emp ORDER BY sa
Mysql order by 和limit
程志伟的博客
06-04 1563
一、排序规则 使用 ORDER BY 子句排序 ASC（ascend）: 升序(默认) DESC（descend）:降序 ORDER BY 子句在SELECT语句的结尾。当多个字段进行排序的时候，依然默认是升序，对个别字段是降序。二、分页：LIMIT [位置偏移量,] 行数2.1 取前10条记录SELECT * FROM employees limit 10;取第11至20条记录...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值