MySQL Help 答朋友问:5000W记录的Innodb表如何快速的去重复数据

原创 2014年02月25日 14:24:07


朋友问: 
5000万数据的一张表,怎么去重快,根据两个字段判断是否重复。
  
  
回复之:
把2个字段以及主键id select 出来建立一张临时表t1,
t1建立好主键索引以及2个对比的字段联合索引。
  
然后在临时表里面 比对重复的记录,
把重复的记录录入第二张临时表t2,t2表结构和t1一模一样。
   
然后根据你的业务来决定如何处理t2表里面的重复记录,用t2关联原来的5000W记录的表来进行处理,
大概通常的是group by2个字段,取出主键id较大的值的记录删除掉。

如何给mysql innodb表添加Sphinx中文快速搜索支持

由于innodb表不能做全文索引,因此模糊查询的效率很低,几十万行的数据like查询一般是分钟级的,而sphinx则很好的解决了这个问题,可以在0.几秒内完成这个查询,下面看下如何给innodb表添加...

MySQL InnoDB表--BTree基本数据结构

MySQL InnoDB表是索引组织表这一点应该是每一个学习MySQL的人都会首先学到的知识,这代表这表中的数据是按照主键顺序存储,也就是说BTree的叶子节点存储了所有该行的数据。     我最开...

mysql 学习记录(十九)--Innodb表锁

一、理论: 1.事务及其acid属性: a.原子性:事务对数据的修改要么全部执行,要么全部不执行。 b.一致性:在事务开始和完成时,数据必须保证一致状态。 c.隔离性:在事务处理的过程中对外是‘不可见...
  • bwshqh
  • bwshqh
  • 2015年11月01日 10:57
  • 853

使用参数innodb_file_per_table支持MySQL InnoDB表数据共享空间自动收缩

http://heylinux.com/archives/2367.html 使用过MySQL的同学,刚开始接触最多的莫过于MyISAM表引擎了,这种引擎的数据库会分别创建三个文...
  • ywh147
  • ywh147
  • 2013年05月30日 18:41
  • 12223

MySQL如何从完全备份恢复单个InnoDB表

译者序:曾经因为想要从完全备份文件中恢复某个InnoDB表而在搜索引擎中到处翻。这篇文章给了我们一个非常好的指导。另外,本文还涉及了为什么InnoDB不能拷贝数据库文件等话题。 有时,数据丢失的...

MySQL的表锁问题(二)——InnoDB表锁问题

首先补充下MySQL的表锁问题(一)没讲到的系统可以通过设置max_write_lock_count参数来控制写的优先级,当一个表的读锁达到这个数的时候,MySQL会暂时的,降低写的优先级.MySQL...

MySQL的表锁问题(二)——InnoDB表锁问题

首先补充下MySQL的表锁问题(一)没讲到的系统可以通过设置max_write_lock_count参数来控制写的优先级,当一个表的读锁达到这个数的时候,MySQL会暂时的,降低写的优先级.MySQL...

实现mysql的innodb表引擎的分区操作

对于mysql的innodb的分区,我们首先要先了解一下innodb的数据结构,而且要了解一下什么是独立表空间和共享表空间   独立表空间:每一张表都会生成独立的文件来进行存储,每一张表都有一个.f...

mysql中InnoDB表为什么要建议用自增列做主键

InnoDB引擎表的特点 1、InnoDB引擎表是基于B+树的索引组织表(IOT) 关于B+树 (图片来源于网上) B+ 树的特点: (1)所有关键字都出现在叶子...

MySQL InnoDB表恢复

文档地址: https://dev.mysql.com/doc/refman/5.7/en/innodb-recovery.html 14.18.2 InnoDB 恢复 本章节讲述InnoDB...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:MySQL Help 答朋友问:5000W记录的Innodb表如何快速的去重复数据
举报原因:
原因补充:

(最多只允许输入30个字)