mysql数据查重去重

1.如果字段比较少且有id等字段有唯一性可以通过join或者not in去重
2.如果字段比较多或者没有id这种唯一性的字段可以通过concat函数合并需要比对的字段，再用MD5函数生成MD5码，相同即重复（这个方法主要针对mysql的group by和join有字段限制ifnull的问题）。
用法：
MD5(CONCAT(A,B,C,D,E,F,…)) AS mdcode
3.增加字段标识0和1，去掉唯一性的主键，查询其他字段并用union去重，存放到一个表里，删除原表。
4.最后一个hash算法，目前还没有去仔细研究。