MySQL分页查询limit数据重复踩坑记

最新推荐文章于 2024-05-17 16:18:52 发布

云树在路上

最新推荐文章于 2024-05-17 16:18:52 发布

阅读量1.8k

点赞数 3

文章标签： java mysql 索引

本文链接：https://blog.csdn.net/hiwatershed/article/details/115133533

版权

线上批处理任务批量读取数据时遇到分页查询结果重复的问题。由于数据库变更后索引选择改变，导致分页数据重复。MySQL的LIMIT优化可能导致相同ORDER BY值的行返回顺序不确定，解决方法是在查询中添加ORDER BY id以确保排序唯一性。

摘要由CSDN通过智能技术生成

1. 问题背景

线上有一个批处理任务，会批量读取昨日的数据，经过一系列加工后，插入到今日的表中。表结构如下：

CREATE TABLE `detail_yyyyMMdd` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT '主键',
  `batch_no` varchar(64) NOT NULL COMMENT '批次号',
  `order_id` varchar(64) NOT NULL

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

云树在路上

关注关注

3
点赞
踩
2

收藏

觉得还不错? 一键收藏
1
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

Mybatis MySQL数据库分页查询出现重复数据

朱政雄的博客

09-11

3508

MySQL分页查询出现重复数据情景(situation): 今天在生产环境，业务同事导出文件时遇到了出现重复数据的问题。因为之前这个功能是我和我带的外包同事一起做的，所以很熟悉这块代码。经过线上操作核对，和代码检测，发现线上查询确实出现了重复数据，而导出文件出现重复数据是因为导出功能后面使用的接口是我提供的分页接口。通过代码分析，基本确认后台应用端代码应该是没有问题的，那么问题就出现在我提供...

mysql使用limit进行分页查询 数据重复问题

12-28

3137

问题描述： SELECT t1.*, t2.dept_id AS sponsorId, t2.annual AS annual, t2.batch_name AS batchName, t3.real_name AS userName, t3.personnel_type AS personnelType, t3.post AS postName, t4.name AS deptName FROM tb_democratic_review t1 LEFT JOIN tb_review_batch t2 ON

1 条评论您还未登录，请先登录后发表或查看评论

Mysql order by limit 分页查询结果有重复的数据

CelineT的博客

04-15

1233

Mysql order by limit 分页查询结果有重复的数据

【mysql】mysql limit ?,? 分页结果每一页的数据都重复

nipppppp的博客

11-23

1207

mysql分页查询的时候遇到每一页数据动重复问题解决

mysql limit 重复_mysql limit 翻页数据重复的问题

weixin_32538033的博客

01-19

390

0.背景Mysql版本：5.7.1.出问题原因在MySql5.6开始，limit加入了一个新特性：LIMIT Query Optimization。假设你写了这样一个sql：select * from my_table limit 10,10;它是符合优化原则的：MySQL sometimes optimizes a query that has a LIMIT row_count clause ...

mysql limit 数据重复_如何解决MySQL order by limit语句的分页数据重复问题？

weixin_29602351的博客

01-27

598

问题描述在MySQL中我们通常会采用limit来进行翻页查询，比如limit(0,10)表示列出第一页的10条数据，limit(10,10)表示列出第二页。但是，当limit遇到order by的时候，可能会出现翻到第二页的时候，竟然又出现了第一页的记录。具体如下：SELECT `post_title`,`post_date` FROM post WHERE `post_status`='publ...

MySQL使用limit分页，第二页中有第一页重复内容

hongmenke的博客

02-24

513

MySQL使用limit分页，出现重复数据

mysql踩坑之limit与sum函数混合使用问题详解

09-09

在这个解决方案中，我们创建了一个内部查询（子查询），这个子查询首先按 `id` 排序并应用 `LIMIT`，然后外部查询对子查询的结果进行 `SUM()` 操作，从而得到分页后的总金额。这种做法不仅适用于 `SUM()` 函数，还...

mysql的limit和sum_mysql踩坑之limit与sum函数混合使用问题详解

weixin_27064845的博客

01-28

738

mysql踩坑之limit与sum函数混合使用问题详解发布时间：2020-08-26 14:43:04来源：脚本之家阅读：56作者：Null前言今天同事在同步完订单数据后，由于订单总金额和数据源的总金额存在差异，选择使用LIMIT和SUM()函数计算当前分页的总金额来和对方比较特定订单的总金额，却发现计算出来的金额并不是分页的订单总金额，而是所有订单的总金额。数据库版本为mysql 5.7，下面会...

mysql数据同步es踩坑记

一千个哈利波特

03-11

1172

背景: 需要把mysql的数据同步到es中。由于没有维护canal集群, 我们选择了通过记录最后一次同步数据的update_time来进行数据同步。具体的做法,当有数据变更的时候，发个消息，表示需要进行数据同步。消息的监听者加锁串行执行，从要同步数据的表中获取上一次update_time之后的数据,并且把最后一条记录的update_time更新回去。比如说有用户表 user...

MySQL - 当LIMIT 进行分页时，为什么出现了重复数据

Soinice的博客

12-03

5295

哦，这时写的一个破SQL，遗留了个问题，没有去注意，所以造成了，有重复数据。因为引用了 PageHelper 插件，期初还以为是插件有问题。后来想想，毕竟整个框架都是用的这个插件，就算有问题早应该会出现了。所以，第一时间想到了SQL，的确，去了排序就没有问题。说在前面数据库分页是后台经常要使用的技术手段，有时候进行数据库查询会根据业务需要对某一字段排序，那么当待排序字段值相同时，我们...

mysql limit 数据重复_mysqllimit翻页数据重复的问题

weixin_33347911的博客

02-17

1041

mysql limit 重复_小心避坑：MySQL分页时使用 limit+order by 会出现数据重复问题

weixin_31807383的博客

01-19

521

0 问题描述在MySQL中我们通常会采用limit来进行翻页查询，比如limit(0,10)表示列出第一页的10条数据，limit(10,10)表示列出第二页。但是，当limit遇到order by的时候，可能会出现翻到第二页的时候，竟然又出现了第一页的记录。具体如下：SELECT`post_title`,`post_date`FROMpostWHERE`post_status`='publish...

使用mysql的limit进行分页时出现重复问题

u010674395的专栏

07-16

3439

使用MySQL的limit进行分页时，例如 select * from table_1 where 1=1 limit m,n 这样后面的页可能会出现重复数据，这时可以通过加入order by 子句来解决这种情况， select * from table_1 where 1=1 order by field_1 limit m,n 但是这里需要特别注意，如果field_1字段有相同值的情况

MySQL分页时使用 limit+order by 会出现数据重复问题

laifengtao的博客

12-20

1347

MySQL分页时使用 limit+order by 会出现数据重复问题(踩坑)

MySQL分页查询limit数据重复问题记录