最近导出excel数据量大的时候发现导出的总数相同,但是里面有很多条都是重复数据,这种重复是无规律的,有的相隔几百条,有的相隔几千条。
excel查重是用excel自带的透视图看的,能直观的展示每种数据出现的次数,百度就能看到很多方法。
检查程序代码发现没什么问题,唯一会出现问题的就在pageHelper上,而且不管它配合什么数据库都可能会出现这种问题。
具体原理没有深究,但解决办法就是 加一个 order by 唯一参数
比如这样:
select student_id,student_name,student_age from student
order by student_name,student_age
这样order by 没有唯一键值,就可能出现重复数据,这时候只需要把唯一键加上就好了。
select student_id,student_name,student_age from student
order by student_name,student_age,student_id
经测试,这样几十万条数据都不会出现数据重复问题了