插入mysql时重复数据处理方法

原创 2015年11月20日 17:42:26

一般我们做数据插入数据库时会先查找是否已经存在,如果不存在再执行插入,

但如果数据量大的话,这样做的效率很低,建议用以下三种方式来替代



方法一、

version_name建立唯一(UNIQUE)索引,

INSERT INTO VERSION(version_name) VALUES('苏教版') ON DUPLICATE KEY UPDATE course_id=4,id=5

如果有相同数据则执行更新


方法二、

version_name建立唯一(UNIQUE)索引,

INSERT IGNORE INTO VERSION(version_name) VALUES('苏教版')

如果有相同数据则忽略


方法三、

version_name建立唯一(UNIQUE)索引,

REPLACE  INTO VERSION(version_name,course_id,spider_id) VALUES('苏教版',4,2402208)

如果有相同数据则删掉旧数据然后插入



版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

MySQL批量插入遇上唯一索引避免方法(避免导入重复数据)

MySQL批量插入遇上唯一索引避免方法(避免导入重复数据)未避免导入重复数据,建议建立唯一索引 防止批量插入时,遇上唯一索引,可以使用以下3种方法避免方法 (一)导入差异数据,忽略重复数据,IGNO...

插入MySQL数据库前去除重复数据的几种方法

若数据不存在插入,存在更新 使用duplicate key关键字,如插入数据时发生主键冲突就更新数据 使用Ingore关键字 使用replace into关键字 一、若数据不存在插入,存在更新: ...

人事考勤系统:多个时间段多笔可能重复打卡数据处理问题

--------------------SQL Server数据格式化工具------------------- ----------------------------------------...
  • zjg528
  • zjg528
  • 2013年03月24日 08:54
  • 516

MYSQL插入处理重复键值的几种方法

当unique列在一个UNIQUE键上插入包含重复值的记录时,默认insert的时候会报1062错误,MYSQL有三种不同的处理方法,下面我们分别介绍。 先建立2个测试表,在id列上创建uniq...
  • twlkyao
  • twlkyao
  • 2013年11月20日 20:29
  • 914

Python数据分析-数据处理-重复值处理

数据处理是对收集到的数据进行加工整理,以达到适合数据分析的样式,是数据分析必不可少的阶段 重复值处理把数据结构中,行相同的数据只保留一行。 python中重复值处理使用函数:drop_duplica...

MYSQL插入处理重复键值的几种方法

当unique列在一个UNIQUE键上插入包含重复值的记录时,默认insert的时候会报1062错误,MYSQL有三种不同的处理方法,下面我们分别介绍。 先建立2个测试表,在id列上创建uniq...
  • akon_vm
  • akon_vm
  • 2014年04月24日 19:05
  • 517

数据处理方法课件part3

  • 2007年07月19日 22:36
  • 9.54MB
  • 下载

删除掉mysql数据库某张表中完全重复数据的方法

需要处理的表大概包含400万条数据,首次运行php代码之后发现完全重复的数据有很多,原因可能是导入时重复导入某张表(当时一起导入超过30份数据到同一个表可能出错),也有可能拿到的数据中存在重复数据,因...
  • liujl6
  • liujl6
  • 2014年12月27日 00:28
  • 1566

数据处理方法课件part1

  • 2007年07月19日 22:32
  • 9.54MB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:插入mysql时重复数据处理方法
举报原因:
原因补充:

(最多只允许输入30个字)