插入mysql时重复数据处理方法

原创 2015年11月20日 17:42:26

一般我们做数据插入数据库时会先查找是否已经存在,如果不存在再执行插入,

但如果数据量大的话,这样做的效率很低,建议用以下三种方式来替代



方法一、

version_name建立唯一(UNIQUE)索引,

INSERT INTO VERSION(version_name) VALUES('苏教版') ON DUPLICATE KEY UPDATE course_id=4,id=5

如果有相同数据则执行更新


方法二、

version_name建立唯一(UNIQUE)索引,

INSERT IGNORE INTO VERSION(version_name) VALUES('苏教版')

如果有相同数据则忽略


方法三、

version_name建立唯一(UNIQUE)索引,

REPLACE  INTO VERSION(version_name,course_id,spider_id) VALUES('苏教版',4,2402208)

如果有相同数据则删掉旧数据然后插入



版权声明:本文为博主原创文章,未经博主允许不得转载。

mysql用语句实现重复数据不插入数据

防止数据重复插入
  • baby97
  • baby97
  • 2016年06月27日 08:59
  • 1414

mysql sql 防止重复插入相同的记录实例

mysql sql 防止重复插入相同的记录实例
  • yafei450225664
  • yafei450225664
  • 2016年11月11日 14:49
  • 576

分享MYSQL插入数据时忽略重复数据的方法

当程序中insert时,已存在的数据不插入,不存在的数据insert。在网上搜了下,可以使用存储过程或者是用NOT EXISTS 来判断是否存在 使用下以两种方法时必须把字段设为”主键(PRIMAR...
  • liehuo123
  • liehuo123
  • 2015年01月08日 23:00
  • 1790

MySql避免重复插入记录(根据主键判重)

今天用python抓取数据入库需要避免重复数据插入,在网上找了一些方法: 方案一:使用ignore关键字 如果是用主键primary或者唯一索引unique区分了记录的唯一性,避免重复插入...
  • caomiao2006
  • caomiao2006
  • 2015年07月27日 23:13
  • 4426

MySQL批量插入遇上唯一索引避免方法(避免导入重复数据)

MySQL批量插入遇上唯一索引避免方法(避免导入重复数据)未避免导入重复数据,建议建立唯一索引 防止批量插入时,遇上唯一索引,可以使用以下3种方法避免方法 (一)导入差异数据,忽略重复数据,IGNO...
  • jinmaodao116
  • jinmaodao116
  • 2017年01月06日 10:08
  • 1996

MySQL不重复插入,记录不存在则插入,存在则更新

SQL UNIQUE 约束 UNIQUE 约束唯一标识数据库表中的每条记录。 UNIQUE 和 PRIMARY KEY 约束均为列或列集合提供了唯一性的保证。 PRIMARY KEY 拥有自动定...
  • peng314899581
  • peng314899581
  • 2016年12月20日 11:31
  • 2637

提高mysql插入数据的速度

需要在mysql中插入2000万条记录,用insert语句插入速度很有限,每秒钟几百条,放在hadoop集群上跑也是这个速度,可能是数据库的问题了,网上看到sql server和oracle的inse...
  • bhq2010
  • bhq2010
  • 2012年03月21日 08:46
  • 8253

MySQL不插入重复数据与删除重复数据

今天写个小程序需要用到mysql,需求就是要求插入数据,但该数据不能已存在于表中,否则就不插入。...
  • xiaoxian8023
  • xiaoxian8023
  • 2014年11月30日 22:54
  • 1801

批量插入记录,遇到重复记录则为自动更新

在插入大量数据时可能同时遇到两个问题: 如果每条更新执行一次sql性能很低,也容易造成阻塞; 批量插入时又有可能遇到主键 或者 唯一索引重复的问题,导致整个批量插入失败 使用 ON D...
  • rj042
  • rj042
  • 2016年01月22日 10:50
  • 3736

MySql避免重复插入记录的几种方法

方案一:使用ignore关键字 如果是用主键primary或者唯一索引unique区分了记录的唯一性,避免重复插入记录可以使用: 复制代码 代码如下: INSERT IGNORE INT...
  • younger_z
  • younger_z
  • 2014年07月16日 11:36
  • 600
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:插入mysql时重复数据处理方法
举报原因:
原因补充:

(最多只允许输入30个字)