mysql百万级数据快速去重处理
先说说情况吧,我有一个数据库,560多万条数据,其中有一个字段(user_id)需要唯一,但目前表中该字段有60多万条的重复数据,需要做去重处理,搜了网上的各种神贴,都不太好用,最后经过我自己的思考与实践,终于找出来一条捷径,处理时间只需要3-5分钟,下面说说操作步骤吧
1.先对要去重的表进行索引(处理重复的那个字段).
2.将数据group by后导入到新的表中,导入时,可能需要分多...
2014-09-12 16:33:27 ·
3869 阅读 ·
0 评论