![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
mysql
5jerry
这个作者很懒,什么都没留下…
展开
-
Mysql插入数据去重方法
最近写爬虫,有需求需要将数据插入mysql,由于爬虫采用分布式,可能会多次爬重复页,这时候就需要对数据去重假设:表:test 含 id,a,b (3个字段)主键id自增。1.根据单个字段去重以navicat为例,右键设计表-》索引,选择字段加上unique即可。输入插入语句:INSERT into test(a,b) VALUES('a','b')再次运行:(会报出一个错:Duplicate...原创 2018-03-28 11:10:13 · 11633 阅读 · 1 评论 -
数据库对原表数据去重方法
工具:navicat,mysql比较简单的方法是(对于数据量大的情况比较慢):去重删除有一个字段相同的值:DELETE p1 from test p1, test p2 WHERE p1.a = p2.a ;删除有两个个字段相同的值:DELETE p1 from test p1, test p2 WHERE p1.a = p2.a AND p1.b = p2.b ;第二种方法:原表有重复数据:第一...原创 2018-03-28 11:45:02 · 4812 阅读 · 5 评论