数据库之MySQL查询去重数据

最近遇到了一个问题,当时我的第一反应是导出来,用wps的Excel表格的删除重复项的功能,简单粗暴又直接,但是没有考虑到数据量太大的情况,会导致Excel打开缓慢。这个时候就考虑有没有更方便快捷的方法,网上也查询了很多方法,但是实践出真知,还是要实践之后才能得到真相。 

 

 开始实践:

1、先创建一个拥有重复数据的表。

 方法一:使用DISTINCT过滤重复数据

1、直接查询age字段,会输出所有数据,包含重复项。

2、 DISTINCT 关键字指示 MySQL 消除重复的记录值

SELECT DISTINCT <字段名> FROM <表名>;

 可以看到消除了重复项,使用distinct可行。

使用 DISTINCT 关键字时需要注意以下几点:

DISTINCT 关键字只能在 SELECT 语句中使用。

在对一个或多个字段去重时,DISTINCT 关键字必须在所有字段的最前面。

如果 DISTINCT 关键字后有多个字段,则会对多个字段进行组合去重,也就是说,只有多个字段组合起来完全是一样的情况下才会被去重。

方法二:group by

GROUP BY 语句根据一个或多个列对结果集进行分组。在分组的列上我们可以使用 COUNT, SUM, AVG,等函数。

select 重复的字段名 from 表名  group by 重复的字段名;

group by 对age查询结果进行了分组,自动将重复的项归结为一组。

 还可以使用count函数,统计重复的数据有多少个。

方法三: row_number窗口函数

oracle等数据库中可以方便的使用row_number函数,实现分组取组内特定数据的功能。但是MySQL中并没有引入类似的函数。为了实现这一功能,需要一些特别的处理。

row_number() over (partition by <用于分组的字段名> order by <用于组内排序的字段名>)

select * from (select t.*,row_number() over(partition by t.children_id  order by t.update_time DESC) rn       
from mdm_data_authority_view_info t where t.DATA_CLASS_ID = '分类id' AND t.DATA_ROLE_ID 
IN ( '角色id', '角色id' ))              
where rn = 1;  
 

 

  • 4
    点赞
  • 28
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 如果你需要在 MySQL 中进行关联查询,并且需要去除重复的记录,可以使用 `DISTINCT` 关键字来实现去重。 例如,有两个表 `table1` 和 `table2`,它们之间通过 `id` 字段进行关联,需要查询它们关联后的 `name` 字段,并去重,可以使用以下 SQL 语句: ``` SELECT DISTINCT table1.name FROM table1 INNER JOIN table2 ON table1.id = table2.id; ``` 这个查询返回的结果将会是 `table1` 表中所有不重复的 `name` 字段与 `table2` 表中对应记录的关联结果。 ### 回答2: MySQL关联查询去重是指在执行关联查询时,避免返回重复的结果。 常见的解决方法有以下几种: 1. 使用DISTINCT关键字:可以在SELECT语句中使用DISTINCT关键字来去除重复的结果,例如:SELECT DISTINCT column1, column2 FROM table1 INNER JOIN table2 ON table1.column3 = table2.column4; 2. 使用GROUP BY子句:可以根据某一列或几列进行分组,并使用聚合函数(如COUNT、SUM)来获取唯一值,例如:SELECT column1, column2 FROM table1 INNER JOIN table2 ON table1.column3 = table2.column4 GROUP BY column1, column2; 3. 使用子查询:可以在主查询中使用子查询来去除重复的结果,将子查询的结果作为主查询的条件,例如:SELECT column1, column2 FROM table1 INNER JOIN (SELECT DISTINCT column3 FROM table2) AS subquery ON table1.column3 = subquery.column3; 4. 使用EXISTS关键字:可以使用EXISTS关键字来判断某一行是否存在,并根据判断结果来选择是否包含该行,例如:SELECT column1, column2 FROM table1 WHERE EXISTS (SELECT 1 FROM table2 WHERE table1.column3 = table2.column4); 需要注意的是,使用关联查询去重可能会带来一定的性能开销,因此在设计数据库查询时,应尽量避免出现重复数据,通过合理的建表和数据处理来减少不必要的关联查询去重操作。 ### 回答3: MySQL关联查询去重可以通过使用DISTINCT关键字来实现。DISTINCT关键字用于过滤查询结果中的重复记录。 假设我们有两个表,一个是学生表students,包括字段id和name,另一个是成绩表scores,包括字段id和score。我们想要查询学生表和成绩表之间的关联数据,并去除重复记录。 可以使用INNER JOIN关键字进行关联查询,同时在查询结果中使用DISTINCT关键字来去重。具体查询语句如下: SELECT DISTINCT students.id, students.name, scores.score FROM students INNER JOIN scores ON students.id = scores.id 以上查询语句会返回去除重复记录的学生表和成绩表的关联数据。在查询结果中,只会包含唯一的学生记录,对应的成绩也会进行去重处理。 总结来说,通过在关联查询语句中使用DISTINCT关键字,可以实现MySQL关联查询去重操作。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值