mysql 快速 去重复_mysql优化小技巧之去除重复项实现方法分析【百万级数据】

本文实例讲述了mysql优化小技巧之去除重复项实现方法。分享给大家供大家参考，具体如下：

说到这个去重，脑仁不禁得一疼，尤其是出具量比较大的时候。毕竟咱不是专业的DB，所以嘞，只能自己弄一下适合自己去重方法了。

首先按照常规首段，使用having函数检查重复项，完事一个一个的删除。不要问我having检测重复项的sql咋写，你懂得哈。。。这个在只有几条重复的时候还可以。要是几千上万条不同数据重复，那咋办。。。

完事呢，咱就考虑了，用having函数查询的时候，原始sql如下：

select `name`,count(*) as count from sentence group by `name` having count>1

大家可以运行感觉下，在五百万左右的数据时，那速度，麻油。。。

但是嘞，咱在不考虑优化它的运行速度的前提下，来考虑使用这个语句来使我们去除数组中的重复项。首先，我们要知道，我们删除重复数据的时候需要使用的数据有哪些。id是肯定的，再来呢，筛选的条件是吧。所以嘞，上面的sql查询出来的数据，缺少了啥，id。。。那我们加上这个字段查询下试试哈：

select id,`name`,count(*) as count from sentence group by `name` having count>1

结果呢，就会显示出来id，name，count这三个字段。具体效果大家可以自己运行看下。根据这些数据咱们就可以进行去除重复项的操作了。