mysql删除表条件重复数据_MySQL删除数据表中重复数据

今天遇到一个问题，数据表的数据有重复的，关键原因在于新增数据时，没有根据条件先判断数据是否存在，当数据存在时进行有关条件的更新，不存在时做新增数据。

对于表中已经存在的数据处理办法的方法：

1.先根据条件进行统计数据重复率。

2.查询那一些数据是重复的，将重复数据放在一张表中用于条件对比将源数据中的重复数据删除(mysql中使用一张表，sqlserver中可以使用临时表或者表变量存放数据)。

3.根据条件关联将重复数据删除。

可以先查询重复数据的总数：

select sum(count)

from(

select bidsectioncode,count(bidsectioncode) as count from businessdata.business_bidsection

group by bidsectioncode having count>1

order by create_time desc

) as d;

查出数据库中的重复记录的数据中的一条，这个不难，很简单的，sql语句如下：

select * from businessdata.business_bidsection

where bidsectioncode in (select bidsectioncode from businessdata.business_bidsection group by bidsectioncode having count(bidsectioncode) > 1)

and id in (select min(id) from businessdata.business_bidsection group by bidsectioncode having count(bidsectioncode)>1)

这些都是不重复的，换句话说都是要保留的，不被删掉的，而其余与这些结果中name相同的应该被删掉。

也就是说将上边那个sql语句id后边加一个not ，查出来的结果就是要删掉的。

select * from businessdata.business_bidsection

where bidsectioncode in (select bidsectioncode from businessdata.business_bidsection group by bidsectioncode having count(bidsectioncode) > 1)

and id not in (select min(id) from businessdata.business_bidsection group by bidsectioncode having count(bidsectioncode)>1)

我把这些需要删掉的存到另外一个表里，然后我新建一个business_bidsection_test表，结构复制business_bidsection的结构就好了。

复制一个创建语句到test表中。

然后将重复数据添加到test表中，插入语句是：

insert into business_bidsection_test

(select * from businessdata.business_bidsection

where bidsectioncode in (select bidsectioncode from businessdata.business_bidsection group by bidsectioncode having count(bidsectioncode) > 1)

and id not in (select min(id) from businessdata.business_bidsection group by bidsectioncode having count(bidsectioncode)>1));

那接下来做的就是删掉business_bidsection表里边与business_bidsection_test表的id相同的数据。

delete a.* from business_bidsection a, business_bidsection_test b where a.id = b.id ;

这样的结果就是完全不重复的，但是id是不连续的。

删除oracle 表中重复数据sql语句、保留rowid最小的一条记录

delete from tablename a where rowid > ( select min(rowid) from table_name b where b.id = a.id and ...

MySQL 数据库删除表中重复数据

采集数据的时候,由于先期对页面结构的分析不完善,导致采漏了一部分数据.完善代码之后重新运行 Scrapy,又采集了一些重复的数据,搜了下删除重复数据的方法. N.B. 删除数据表的重复数据时,请先备份 ...

Sql Server删除数据表中重复记录 三种方法

本文介绍了Sql Server数据库中删除数据表中重复记录的方法. ［项目］数据库中users表,包含u_name,u_pwd两个字段,其中u_name存在重复项,现在要实现把重复的项删除!［分析］1 ...

ROWID面试题-删除表中重复数据(重复数据保留一个)

/* ROWID是行ID,通过它一定可以定位到r任意一行的数据记录 ROWID DNAME DEPTNO LOC ------------------ ------------------------ ...

向mysql数据表中插入数据失败的原因

1.案例代码: $sql1="insert into content(category,subject,content,username,release_date) values('{$ca ...

DataTable to Excel(使用NPOI、EPPlus将数据表中的数据读取到excel格式内存中)

/// /// DataTable to Excel(将数据表中的数据读取到excel格式内存中) /// ///

将数据表中的数据添加到ComboBox控件中

实现效果: 知识运用: ComboBox控件的DataSource 属性 //获取或设置ComboBox的数据源 public Object DataResouce{get;set;} //属性值:任 ...

code first网站发布后数据表中没有数据问题

code first网站发布后数据表中没有数据问题 (1).将internal sealed class Configuration类访问修饰符改为public  class Configuratio ...

查询和删除表中重复数据sql语句

1.查询表中重复数据.select * from peoplewhere peopleId in (select   peopleId   from   people   group   by   ...

随机推荐

Win下，通过Jstack截取Java进程中的堆栈信息

在Java软件的使用过程中,有时会莫名的出现奇怪的问题.而这些问题常常无法使用日志信息定位,这时我们就需要通过查看进程内部线程的堆栈调用关系来分析问题出在哪里. 举个例子,当我们在做某个操作时,莫名的 ...

xp-win7-win8的基础到精通教程-系统优化减肥教程-windos装mac

是否还在使用别人封装的系统?是否还在担心下载后的系统是有病毒的?还在为 安装好新系统后,里面安装的软件全是自己不需要的?担心流氓软件绑定浏览器主页?担心 系统重装后,自己所有的编程软件都需要重新安装? ...

[素材资源] Android开发性能优化简介(非常不错的)

转自(http://www.starming.com/index.php?action=plugin&v=wave&tpl=union&ac=viewgrouppost&amp ...

oracle 里面定时执行任务，比如存储过程内容等

DECLARE   job_no_ NUMBER;   BEGIN      DBMS_JOB.SUBMIT(job_no_,                   'proc_qszx_dw_sc(' ...

Educational Codeforces Round 9

Educational Codeforces Round 9 Longest Subsequence 题目描述:给出一个序列,从中抽出若干个数,使它们的公倍数小于等于\(m\),问最多能抽出多少个数, ...

Python之路【第三篇】：模块

定义: 包:包含__init__.py文件.模块(也是.py文件) 当包被其它模块调用时,首先会执行该包下的__init__文件 包含有模块,包可以有多级 模块的导入: import from...i ...

[转载]学习Javascript闭包(Closure)

学习Javascript闭包(Closure)     源地址: http://www.ruanyifeng.com/blog/2009/08/learning_javascript_closures ...

CSS之链接

改变链接样式 当设置为若干链路状态的样式,也有一些顺序规则: a:hover 必须跟在 a:link 和 a:visited后面 a:active 必须跟在 a:hover后面

MDX Cookbook 10 - 计算 Year To Date 的 Running Total(YTD 与 PeriodsToDate 的区别)

在这个小节中我们将计算度量值的 Year To Date 的值,也就是计算从年开始到当前时间成员为止的度量值的累加结果. 下面的这个查询显示了所有以周为单位的 Reseller Sales Amoun ...