线上遇到一个问题,使用mysql分页获取数据会获取到重复的数据,比如一共一万条数据,分页取出来之后合并到一起会有重复的几条,而且每次重复的数据都不太一样,但是直接全量获取就没有问题,数据库建表语句如下:
CREATE TABLE point (
id bigint(20) unsigned NOT NULL AUTO_INCREMENT COMMENT 'id',
address varchar(64) CHARACTER SET utf8 NOT NULL DEFAULT '' COMMENT '站点名称',
create_time int(11) NOT NULL DEFAULT '0' COMMENT '创建时间',
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin COMMENT='站点表';
获取分页数据的sql如下:
select * from point order by create_time desc limit 0,10
查阅之后发现mysql有一个特性,如果order by的字段不是unique的,即有值相同的行,那么这些数据的返回顺序是未定的,这是由于msyql做排序的时候并不能保证相同的值的相对顺序是一直不变的,这样两次查询由于数据的顺序未定,导致了一行数据出现在了两页中,mysql官方有相关讨论,这是mysql的一个特性,而不是bug,有兴趣的可以去看下。
mysql官方讨论