order by引起的数据重复问题

最新推荐文章于 2024-09-07 17:03:39 发布
最新推荐文章于 2024-09-07 17:03:39 发布
阅读量536 收藏
点赞数
文章标签： java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Forever_Daisy/article/details/130381923
版权

问题现象：新增了一条数据，页面total也+1了，页面列表以pageSize = 10分页，无论怎么翻页都看不到新增的那条数据，把pageSize = 20或者其他更大的值，能查看到

定位分析：数据是正常入库了，怀疑是排序的原因导致

最终结论：查看代码，sql语句最后使用sort_no排序，但是数据库中的sort_no字段值不唯一，导致order by时乱序，分页的时候，某条数据可能会在第一页出现，第二页也出现，第三页...都出现，有的数据则始终不会出现（比如pageSize = 10, 你翻第一页的时候，它的排序在第11位，你翻第二页的时候，它的排序又在第9位了）

解决方案：order by 字段的值唯一。通过某种业务方式让sort_no值唯一，或者加一个唯一字段，如：order by sort_no, id

Forever_Daisy
关注
sql删除重复数据的详细方法
09-10
select *, ROW_NUMBER() OVER(PARTITION BY c1, c2, c3 ORDER BY (getdate())) as num from duplicate_all where c1 = 1 ) delete tmp where num > 1 ``` **二、删除部分重复的记录** 部分字段值重复的记录...
order by 导致分页出现重复数据问题
努力努力，努力努力的博客
07-19 887
order by导致分页失效
避坑：MySQL分页时出现的数据重复问题
m0_38048955的博客
04-06 2710
在MySQL中我们通常会采用limit来进行翻页查询
mysql在使用order by +limit分页时遇到的数据重复及丢失问题
最新发布
ygd185的博客
09-07 1205
order by+limit会出现数据丢失及分页重复问题一开始表没有任何索引，主键。直接上图：图1：图2：图2从图中可以看出，id=30的数据在第1页，和第3，最后1页重复了2次通过查看执行计划，发现排序方式是文件排序，
oracle进行分页查询时由order by排序引起的数据重复问题
qq_29217593的博客
05-04 1491
oracle进行分页查询时由order by排序引起的数据重复问题问题现象原因解决办法 问题现象 今天使用Spring Data中的pageable(int page,int pagesize,int sort,string sortcolumn)类进行分页查询后，发现在排序的字段sortcolumn有相同数据时，查询结果顺序会出现错乱。 原因 将查询sql打印出来后发现，pageable封装的查...
使用order by分页查询出来的数据出现重复或丢失的问题
m0_64284147的博客
08-12 1505
order by后面跟的字段的值不唯一，有相同的值，排序时导致可以自由地以任何顺序来返回这些数据，从而导致可能出现查询第一页时有一条数据已经出现过了，查询第二页，这条数据就出现在第二页，导致数据重复或者查询第一页时，这条数据在第二页，查询第二页时，这条数据在第一页，导致数据丢失。用sql进行分页查询，其中有利用order by来对数据进行排序，在第一页查询出来的数据在第二页也出现了，并且会存在个别数据查询不出来导致丢失的情况。在order by后面再跟一个值唯一的字段。
使用order by 当字段值相同时会出现问题
weixin_44001317的博客
04-27 815
这是之前写的分页查询图书的某个sql 按时间倒序返回结果，突然有天生产出问题了，上一页下一页老是出现相同的书籍，我看了下确实是这样的，最后发现是因为那批书籍的数据的create_time都是一样的导致MySQL没法排序了，最后加了。如果多条记录在ORDER BY列中有相同的值，服务器可以自由地以任何顺序返回这些记录，并且可能会根据整个执行计划以不同的方式进行。换句话说，这些行的排序顺序对于无序的列来说是不确定的。教训：当order by可能出现字段重复的时候得考虑下是不是增加一个不会重复的字段排序。
和面试官聊聊MySQL排序的坑（含order by limit 分页出现重复数据问题、结合索引 order by什么情况不会进行内存排序操作(Using filesort)）
健身变秃，coding变强
02-13 4645
1、MYSQL按多个字段排序需要注意哪些问题？ 2、有没有遇到过order by limit分页出现数据重复的问题？怎么解决的？ 3、MySQL5.x低版本的排序是怎做的？ 4、结合索引来看，order by什么情况会进行内存排序操作(Using filesort)？ 5、where条件的字段不在索引中，只有order by的字段在索引中，会用到索引吗？会利用索引排序吗？
PageHelper 分页数据重复 orderby排序失效 【黑马 Day10-09. 案例-员工管理-分页条件查询】
Violet_______的博客
07-21 629
PageHelper 分页数据重复 orderby排序失效 黑马
实例讲解临时处理去重 80w 数据时夯死现象
09-10
尤其是在Oracle数据库中，如果直接使用删除语句去重，可能会因为数据量过大导致SQL语句执行缓慢或者长时间占用资源不释放，从而引起夯死现象。 为了解决这个问题，可以采取分批次去重的方法。这种方法将大的去重...
基于SQL语句的全样本数字化审计示例分析.pdf
09-19
3. 合并两个临时表中的数据，并按照摘要字段的文字相似度和金额进行汇总排序，去除重复数据。 具体SQL语句可能如下： ```sql SELECT DISTINCT t.cl_month, t.pzno, t.cl_desc, SUM(t.amt) amtSum, COUNT(t.amt) ...
java面试问题汇总（非常全面）
05-12
表连接的几种方式，事务，存储过程，orderby,groupby - **表连接**：INNER JOIN、LEFT JOIN、RIGHT JOIN、FULL OUTER JOIN。 - **事务**：一组操作作为一个整体，要么全部成功，要么全部失败。 - **存储过程**：预...
MySQL索引用法实例分析
09-10
关于 `UNION ALL` 的 `ORDER BY` 问题，通常，`ORDER BY` 仅对每个单独的子查询起作用，而不是对整个 `UNION ALL` 结果集。这意味着在执行 `($sql1) union all ($sql2)` 时，`$sql1` 和 `$sql2` 中的 `ORDER BY` ...
oracle进行order by排序，分页数据重复
苍穹尘的博客
09-28 2041
Oracle的分页查询是没有进行任何排序操作的，Oracle是顺序的从数据块中读取符合条件的数据返回到客户端。 而Oracle的排序算法不具有稳定性，也就是说，对于排序键值相等的数据，这种算法完成排序后，不能保证这些键值相等的数据保持排序前的顺序。 数据库order by排序不唯一，的确会导致最终的数据排序是不是稳定的，表现出来的结果，就是分页时会重复显示； 建议在 ...
MySql Order by 字段出现重复导致 limit 分页后的数据错乱
qq_43750656的博客
06-02 1211
所以此时的解决办法有2个，一个是order by 后面根据一个唯一的列去排序，如果还是优先想根据重复的列去排序，则可以使用多列排序。当使用mysql 进行分页查询出现数据不一致问题时候 可以看看order by 后面列数据是否有重复值。说明当order by 列中有重复值的时候，mysql server 会看自己心情随机处理返回结果。但是加了limit以后就出现问题了，原本以为是截取的前10条，结果出现了数据错乱的情况。共有28条数据，确实是按照event_time排序的。在官方文档 有这样一句话。
Mybatis插件PagerHelper分页结果重复
da_dou_dou的博客
07-10 722
1、问题重现 总记录正确，但是没页的记录有重复和其他页有重复的 控制层代码 @ApiOperation(value = "获取工作监控数据") @ApiImplicitParams({ @ApiImplicitParam(name = "sandBoxCode", value = "沙盒的code", paramType = "query", dataType = "String"), @ApiImplicitParam(name =
PageHelper分页数据重复问题解决
IveLee的博客
07-31 2454
测试发现后台使用PageHelper进行oracle数据分页查询时会出现几页重复数据，如当翻到第三、第四页时候发现仍展示为第二页的数据内容。 经排查发现是sql查询使用order by排序元素未涵盖主键。 因此，在order by排序时增加主键排序即可解决PageHelper分页查询数据重复问题。 ...
踩坑笔记 MySQL分页排序查询（Order by limit）导致数据丢失和重复
laker的博客
10-03 2225
在执行查询时，MySQL会根据查询优化器的决策来确定数据的检索顺序，如果没有明确的排序规则，结果集的顺序可能会随机，这可能会让人感到困惑。分页查询排序后的数据，是一个非常常见的业务场景；但当使用不唯一的字段排序时，分两页查询的数据可能出现数据重复和丢失的错觉。这个优先队列的本质和Java中的堆一样的，可以根据limit的条数维护一个堆。以后的版本都会有，严格的说这并不算一个问题，MySQL官方对。如果没有唯一字段，联合索引构成的联合唯一索引也行。一张很屌的图，来自牛逼的 ALEX XU。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值