mysql5.7排序和分页出现重复数据

最新推荐文章于 2024-03-14 17:04:31 发布
最新推荐文章于 2024-03-14 17:04:31 发布
阅读量865 收藏 1
点赞数
分类专栏： 数据库 文章标签： mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37334435/article/details/113373779
版权
在MySQL5.7中，当使用LIMIT优化时，如果ORDER BY的字段存在相同值，返回结果可能不一致。文档指出，具有相同排序值的行顺序不确定。案例显示，由于create_datetime字段重复，导致分页查询出现重复数据。解决方法是在ORDER BY子句中增加唯一ID字段，确保分页顺序的确定性。
摘要由CSDN通过智能技术生成

场景

我们使用分页查询时候经常会遇到需要对某个或者某几个字段进行排序，在排序字段有相同值的情况下有可能最后的排序结果不是我们预期的样子，我们来看下一个例子。
在这里插入图片描述

在这里插入图片描述
表里面的creaet_datetime列的数据是有重复的，一般情况下我们分页的sql是这样的。
第一页
在这里插入图片描述
第四页
在这里插入图片描述
可以发现，id为8的这条数据出现在了第一页和第页当中，这样就不是我们预期当中的结果。
那这是为什么呢？

分析

在我们以往的经验和理解当中，这里应该是先进行order by排好序，然后再取对应的分页数据。其实在mysql5.7当中并不是这样的，通过查阅 mysql5.7的官方文档可以发现在mysql5.7当中会对limit优化

最低0.47元/天 解锁文章
不忘初心1123
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
mysql 先排序再去重,Mysql DISTINCT问题
weixin_30259017的博客
03-17 3061
问题描述因为要设计一个数据库表，进行一个倒序去重的操作。例如：idName1B2A3A4C5C6B场景：例如说我们需要得到一个用户的搜索记录，那么肯定不会仅仅根据时间倒序排序给出列表展示，因为这样会出现重复的问题。我们需要去重，并且保证用户对一个搜索记录是按照最后一次搜索操作的时间排序的。用以上用例去描述，id为添加顺序，Name为查询记录，我们需要Sql查询的结果为BCA。一开始选择使用了DIS...
mysql order by值相同_MySQL中order by 与 limit 同用会查出重复的数据
weixin_34547628的博客
02-07 545
结论：如果多行在列中具有相同的值ORDER BY，则服务器可以自由以任何顺序返回这些行，并且根据整体执行计划，这样做的方式可能有所不同。换句话说，这些行的排序顺序相对于无序列是不确定的。验证：建表语句：CREATE TABLE`test_limit` (`id`int(11) NOT NULLAUTO_INCREMENT,`name`varchar(45) DEFAULT NULL,`create...
mysql数据库SQL语句orderBy排序同时limit分页出现数据重复问题
快敲代码去
04-26 2391
mysql数据库SQL语句orderBy排序同时limit分页出现数据重复问题
mysql-分页数据重复
一个博客
07-13 1198
以前碰到过类似问题，是因为排序字段导致的，因为排序字段一样导致分页临界点的查询数据展示可能会重复。分页查询不同页出现重复数据，底层实现都是使用limit。从51条开始，显示后面的100条。第101条开始的50条数据。
【Mysql】分页排序查询（Order by limit）出现数据丢失和重复
最新发布
weixin_44823875的博客
03-14 1502
如果必须执行文件排序，则在找到第一个row_count之前，将选择所有与查询匹配的，没有LIMIT子句的行，并对其中的大多数或全部进行排序。在执行查询时，MySQL会根据查询优化器的决策来确定数据的检索顺序，如果没有明确的排序规则，结果集的顺序可能会随机，也就是说当我们用更新时间来做排序，而更新时间这个字段的值是不唯一的，同一个更新时间的数据有多条，那么在分页查询时，就可能会在不同页排序后取到相同的数据。出现的问题就是第二页的最后一条数据，和第三页的第一条数据是一样的，也就是出现了分页数据重复的问题。
mySql 单列字段排序，字段值相等时分页数据重复
星空_灯塔的博客
07-21 545
mySql 单列字段排序，字段值相等时分页数据重复
MySql下实现先排序后分组 5.7出现的问题
Salted fish in hand, I have the world.
05-18 700
https://blog.csdn.net/wangxi_xixi/article/details/82981533 https://blog.csdn.net/lglaljj123/article/details/79864188
mysql5.7 同分数排名相同问题解决
zy_1558538904的博客
11-27 1097
SELECT B.*, C.matchAddress, C.matchContent, C.matchTime, D.XM, @curRank := IF(@prevRank = B.avgScore, @curRank, @incRank) AS rank, @incRank := @incRank + 1, @prevRank := B.avgScore FROM ( SELECT avg(score) as avgScore, matchClassId, teacherId from Tea.
mysql 分页查询出现重复数据分析排查
逍遥散人的博客
12-31 2232
mysql 分页查询出现重复数据问题排查mysql 分页查询出现重复数据问题分析定位问题解决方案 mysql 分页查询出现重复数据 2019的最后一天，才发现今年快过去了，就想着写点东西纪念一下，而且正好昨天项目上遇见一个让我感到很奇怪的问题，一个简单的分页查询居然出现问题了，让人难以置信啊，但是问题就是出现了。所以现在就将我对这件事的问题排查过程做一个简单的记录。希望能帮助到大家。顺便方便自己做...
mysql-installer-community-5.7.30.0.zip
12-29
Bootstrap Table插件允许开发人员将表格数据与MySQL数据库集成，提供排序、过滤、分页等功能，并且与Bootstrap的其他组件样式协调一致，使得Web界面更加美观且功能强大。 综上所述，这个压缩包提供了一个完整的解决...
laravel-cross-eloquent-search：Laravel软件包，用于搜索多个Eloquent模型。 支持排序，分页，范围查询，渴望的负载关系以及通过单列或多列搜索
02-03
它支持排序，分页，范围查询，渴望的负载关系以及在单列或多列中搜索。 :television: 是否想观看此程序包的实现？ 重新观看直播（跳到13:44观看精彩内容）： ://youtu.be/WigAaQsPgSA要求PHP 7.4以上MySQL 5.7以上...
Centos7 安装 Mysql8教程
01-20
6. **降序索引**：MySQL 8.0支持降序索引，这在处理排序和分页查询时能提升性能。 7. **更好的优化器消费模型**：改进的查询优化器使得数据库能够更智能地选择执行计划，提高查询速度。 8. **GIS（地理信息系统）...
100道MySql面试题
02-21
MySQL 面试题知识点总结 MySQL 索引使用注意事项可以从三个维度回答： 1. 索引哪些情况会失效： - 查询条件包含 or - 字段类型是字符串，where 时一定用引号括... - 平衡二叉树可是每个节点只存储一个键值和数据的
mysql5.7或者以上版本的,去重之后排序(降序)的解决方法(参考,不一样适用每一个人)
B頭 博客
01-16 3641
我看过这边文章的去重排序 https://blog.csdn.net/jiongxian1/article/details/78449232 在mysql5.5是可以实现的,但是感觉在mysql5.7就没办法实现了.! 说带说一下,就是,在mysql5.7如果只是想简单使用group by功能, 还得在 /etc/my.cnf 修改配置(仅限linux系统) 在文件最后...
MySql先排序后去重，Group By与Order By联用，未生效解决方案！！！
程序员养成计划
03-30 1056
Create代码，带数据 -- -------------------------------------------------------- -- 主机: 127.0.0.1 -- 服务器版本: 5.7.18-log - MySQL Community Server (GPL) -- 服务器操...
关于MySQL排序分页之后，前后页有部分数据重复问题
刘城的博客
08-30 2656
经查，是由于api接口返回的数据导致，在转盘五连抽时，产出的步数是批量插入数据库的，领取时间字段的值是一致的， 按照领取时间分页查询时偶尔就出现重复记录。MySQL 在分页排序时，如果排序的字段的值全部相同，那么MySQL会将数据随机排序分页，所以前后页会有部分数据重复。在排序分页时，需保证排序字段的唯一性，如使用主键、唯一索引、不重复的普通字段、多级排序。增加一个二级排序字段，当领取时间相同时，则按照id字段进行排序。在做一个游戏活动中遇到的一个问题，记录一下。...
mysql 排序后 分页 第一页数据和第二页数据部分数据重复问题
weixin_43726822的博客
05-18 4283
记录开发过程中的一个坑 在开发过程中遇到的问题 （菜鸡一枚，随笔勿喷） 问题描述 数据分页时需要根据数据记录创建时间create_time字段倒序，即使用order by create_time desc limit ?,?，但是我们会发现，前端进行请求时获取的数据并不正确，分页中出现了一定的重复数据。 问题原因 期初还很好奇，总数没问题，总查询也没问题，为什么数据会重复了，然后会把部分数据给覆...
MySQL排序分页之后，前后页有部分数据重复问题
qq_45273160的博客
12-29 1814
在工作的时候出现这个问题，记录一下。 原因 MySQL在分页排序时，如果排序的字段的值全部相同，那么MySQL会将数据随机排序分页，所以前后页会有部分数据重复。 解决办法 MySQL在排序是增加一个2级排序 例如 SELECT * FROM your_table t WHERE t.file_hash='************' ORDER BY t.complaint_time, t.id LIMIT 0, 10; 当投诉日期的值都相同时，则会按照id来排序。 springdata jpa里面的解决办
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值