MySQL Help 答朋友问:5000W记录的Innodb表如何快速的去重复数据

原创 2014年02月25日 14:24:07


朋友问: 
5000万数据的一张表,怎么去重快,根据两个字段判断是否重复。
  
  
回复之:
把2个字段以及主键id select 出来建立一张临时表t1,
t1建立好主键索引以及2个对比的字段联合索引。
  
然后在临时表里面 比对重复的记录,
把重复的记录录入第二张临时表t2,t2表结构和t1一模一样。
   
然后根据你的业务来决定如何处理t2表里面的重复记录,用t2关联原来的5000W记录的表来进行处理,
大概通常的是group by2个字段,取出主键id较大的值的记录删除掉。

MySQL Help 答朋友问:5000W记录的Innodb表如何快速的去重复数据

朋友问:  5000万数据的一张表,怎么去重快,根据两个字段判断是否重复。 回复之:把2个字段以及主键id select 出来建立一张临时表t1,t1建立好主键索引以及2个对比的字段联合索引。 然...
  • mchdba
  • mchdba
  • 2014年02月25日 14:24
  • 5693

MySQL(八)单表数据记录查询

mysql 单表 查询
  • ZJDWHD
  • ZJDWHD
  • 2016年08月23日 23:07
  • 1455

mysql查询所有记录,并去掉重复的记录

distinct(str)函数是用来去掉重复记录的,但是它只是针对某一个字段可以去重复。例如:select distinct(name)from tablename; 但是如果想把其他字段值的记录也查...
  • u013410747
  • u013410747
  • 2015年12月03日 20:32
  • 2292

mysql去除重复数据,只保留一条。

之前写过的爬虫里面,因为种种原因出现了一些重复的数据需要删除掉。然后发现mysql并没有直接的去重功能,要自己写。 查过许多博客之后发现可以这么写。 删除ppeople 重复的数据,然后重复数据中...
  • meishenghang1148
  • meishenghang1148
  • 2017年12月07日 14:48
  • 160

日均5000万订单点餐系统中间件选型和关键技术实现方案

日均5000万订单点餐系统中间件选型和关键技术实现方案   一、     业务模型   本系统假定的应用场景为:面向中等以上规模餐厅提供二维码扫码点餐服务,客户可以通过微信或支付宝扫码点单。系统...
  • binzhaomobile
  • binzhaomobile
  • 2017年06月29日 14:23
  • 618

数据库性能优化--超详细

性能调节的目的是通过将网络流通、磁盘 I/O 和 CPU 时间减到最小,使每个查询的响应时间最短并最大限度地提高整个数据库服务器的吞吐量。为达到此目的,需要了解应用程序的需求和数据的逻辑和物理结构,并...
  • he90227
  • he90227
  • 2014年07月23日 13:25
  • 1361

如何通过mysql去除重复数据呢

DELETE FROM orginal  WHERE id NOT IN (SELECT tab.id FROM  (SELECT  MAX(id) AS id FROM orginal GROUP...
  • weixin_35772453
  • weixin_35772453
  • 2017年04月03日 22:20
  • 611

解决mysql数据重复问题-只保留一条数据

1.sql语句,原理使用临时表法,效率比较低 delete FROM `source` WHERE is_deleted=0 AND (group_id,group_ind...
  • lv836735240
  • lv836735240
  • 2016年10月28日 10:23
  • 1543

大数据量统计(5000W条文本数据)

前段时间写了个5000W条有固定格式的文本数据的统计重复次数的算法 ,用随机数生成了5000W条数据放在txt文本中,居然1G多一点,经过几天的优化,最后用2个小时左右统计完成,心情不错,哈哈!格式如...
  • Delegate
  • Delegate
  • 2008年03月29日 23:46
  • 408

mysql批量插入

对于一些数据量较大的系统,数据库面临的问题除了查询效率低下,还有就是数据入库时间长。特别像报表系统,每天花费在数据导入上的时间可能会长达几个小时或十几个小时之久。因此,优化数据库插入性能是很有意义的。...
  • zxjiayou1314
  • zxjiayou1314
  • 2016年10月27日 09:56
  • 2005
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:MySQL Help 答朋友问:5000W记录的Innodb表如何快速的去重复数据
举报原因:
原因补充:

(最多只允许输入30个字)