MySQL Help 答朋友问:5000W记录的Innodb表如何快速的去重复数据

原创 2014年02月25日 14:24:07


朋友问: 
5000万数据的一张表,怎么去重快,根据两个字段判断是否重复。
  
  
回复之:
把2个字段以及主键id select 出来建立一张临时表t1,
t1建立好主键索引以及2个对比的字段联合索引。
  
然后在临时表里面 比对重复的记录,
把重复的记录录入第二张临时表t2,t2表结构和t1一模一样。
   
然后根据你的业务来决定如何处理t2表里面的重复记录,用t2关联原来的5000W记录的表来进行处理,
大概通常的是group by2个字段,取出主键id较大的值的记录删除掉。

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

MySQL InnoDB表--BTree基本数据结构

MySQL InnoDB表是索引组织表这一点应该是每一个学习MySQL的人都会首先学到的知识,这代表这表中的数据是按照主键顺序存储,也就是说BTree的叶子节点存储了所有该行的数据。     我最开...

mysql 学习记录(十九)--Innodb表锁

一、理论: 1.事务及其acid属性: a.原子性:事务对数据的修改要么全部执行,要么全部不执行。 b.一致性:在事务开始和完成时,数据必须保证一致状态。 c.隔离性:在事务处理的过程中对外是‘不可见...

MySQL如何从完全备份恢复单个InnoDB表

译者序:曾经因为想要从完全备份文件中恢复某个InnoDB表而在搜索引擎中到处翻。这篇文章给了我们一个非常好的指导。另外,本文还涉及了为什么InnoDB不能拷贝数据库文件等话题。 有时,数据丢失的...

MySQL的表锁问题(二)——InnoDB表锁问题

首先补充下MySQL的表锁问题(一)没讲到的系统可以通过设置max_write_lock_count参数来控制写的优先级,当一个表的读锁达到这个数的时候,MySQL会暂时的,降低写的优先级.MySQL...

【转】MySql官方建议:Innodb表最佳实践

原文:http://dev.mysql.com/doc/refman/5.5/en/innodb-default-se.html Best Practices for InnoDB Tables If...

[MySQL FAQ]系列 — 为什么InnoDB表要建议用自增列做主键

[MySQL FAQ]系列 — 为什么InnoDB表要建议用自增列做主键 2条回复 我们先了解下InnoDB引擎表的一些关键特征: InnoDB引擎表是基于B+树的索引组织表...

MySQL InnoDB表恢复

文档地址: https://dev.mysql.com/doc/refman/5.7/en/innodb-recovery.html 14.18.2 InnoDB 恢复 本章节讲述InnoDB...

MySQL的Innodb表恢复

一、innodb恢复方法 强制执行innodb恢复 如果你想从数据库中备份你的数据。通常,大多数获得的数据是完整的。但是,不排除你在执行SELECT * FROM tbl_name或者执行Inno...

mysql中InnoDB表为什么要建议用自增列做主键

InnoDB引擎表的特点 1、InnoDB引擎表是基于B+树的索引组织表(IOT) 关于B+树 (图片来源于网上) B+ 树的特点: (1)所有关键字都出现在叶子...

实现mysql的innodb表引擎的分区操作

对于mysql的innodb的分区,我们首先要先了解一下innodb的数据结构,而且要了解一下什么是独立表空间和共享表空间   独立表空间:每一张表都会生成独立的文件来进行存储,每一张表都有一个.f...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)