DISTINCT 和 GROUP BY 的实现区别及隐式排序

最新推荐文章于 2023-01-01 14:13:17 发布
最新推荐文章于 2023-01-01 14:13:17 发布
阅读量1.5k 收藏
点赞数
文章标签： MySQL
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wa123579/article/details/121397395
版权

先说结论

  1. 语义相同，都走索引情况下，两者效率差不多，distinct 可以看作是特殊的 group by
  2. 语义相同，不走索引情况下，distinct 会更快一些，原因是 group by 可能会触发 filesort 进行排序

测试

DISTINCT

image.png
image.png

GROUP BY

image.png

image.png

隐式排序

MySQL :: MySQL 5.7 Reference Manual :: 8.2.1.14 ORDER BY Optimization
在 MySQL 8.0 之前，GROUP BY 会默认根据作用字段进行排序。在能利用索引时不需要排序（因为索引已经排过序了）当无法利用索引时，MySQL 会使用临时表再排序的方式实现 GROUP BY，且当结果集超过系统设置的临时表大小时，MySQL 就会先 copy 到磁盘上再进行操作，这样效率就会非常低，这也是为什么 8.0 以后弃用了隐式排序

禁止隐式排序
image.png

总结

更推荐使用 GROUP BY，语义更清晰，还可以使用 HAVING 进行过滤处理

code monkey
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ElasticSearch中"distinct","count"和"group by"的实现
weixin_30602505的博客
02-21 4264
最近在业务中需要使用ES来进行数据查询，在某些场景下需要对数据进行去重，以及去重后的统计。为了方便大家理解，特意从SQL角度，方便大家能够理解ES查询语句。 1 - distinct SELECT DISTINCT(user_id) FROM table WHERE user_id_type = 3; { "query": { "term": ...
mysql ORDER BY,GROUP BY 和DISTINCT原理
weixin_34315665的博客
11-18 606
前言 除了常规的Join语句之外，还有一类Query语句也是使用比较频繁的，那就是ORDERBY，GROUP BY以及DISTINCT这三类查询。考虑到这三类查询都涉及到数据的排序等操作，所以我将他们放在了一起，下面就针对这三类Query语句做基本的分析。   ORDER BY 的实现与优化 在MySQL中，ORDERBY的实现有如下两种类型： 一种是通过有序索引而直接取得有序的数据，...
简单了解Sql中distinct和group by的区别
xiao1_1bing的博客
07-18 9364
distinct和Group by 区别：          distinct只是将重复的行从结果中出去；          group by是按指定的列分组，一般这时在select中会用到聚合函数。         distinct是把不同的记录显示出来。         group by是在查询时先把纪录按照类别分出来再查询。          group by 必须在查询结果中包含...
对单个字段去重并排序，distinct与group by的区别
weixin_40437163的博客
10-31 475
公司的平台项目需要查询日增量的最新时间，和增量频率，在查询中遇到了问题 一.使用GROUP BY 1.group by 与 order by 的先后顺序 先group by 后 order by 而且order by 里的字段必须在group by里面 2.如果存在格式转换必须在order by，group by，select中同时转换 二.使用DISTINC...
distinct跟group by 去掉重复数据分析 排序 + 分页 ( order by ) ( limit )
天使也有爱
07-16 1547
distinct和group by 去掉重复数据分析 用distinct关键字只能过滤查询字段中所有记录相同的（记录集相同），而如果要指定一个字段却没有效果，另外distinct关键字会排序 。 select distinct name from t1 能消除重复记录，但只能取一个字段，现在要同时取id,name这2个字段的值。 select distinct id,name from t1 可以取多个字段，但只能消除这2个字段值全部相同的记录 所以用distinct达不到想要的效果，用group by 可
es java distinct_ElasticSearch中"distinct","count"和"group by"的实现
weixin_39809175的博客
03-02 721
最近在业务中需要使用ES来进行数据查询，在某些场景下需要对数据进行去重，以及去重后的统计。为了方便大家理解，特意从SQL角度，方便大家能够理解ES查询语句。1 - distinctSELECT DISTINCT(user_id) FROM table WHERE user_id_type = 3;{"query": {"term": {"user_id_type": 3}},"collapse":...
LINQ入门及应用 10/13
03-31
　3.7.1 OrderBy和OrderByDescending 　3.7.2 ThenBy和ThenByDescending 　3.8 let子句 　3.9 join子句 　3.10 小结 第4章 用于集合、文件、字符串对象的LINQ(LINQ to Objects) 　4.1 LINQ标准查询运算符概述 　4.2 ...
LINQ入门及应用 1/13
03-31
　3.7.1 OrderBy和OrderByDescending 　3.7.2 ThenBy和ThenByDescending 　3.8 let子句 　3.9 join子句 　3.10 小结 第4章 用于集合、文件、字符串对象的LINQ(LINQ to Objects) 　4.1 LINQ标准查询运算符概述 　4.2 ...
LINQ入门及应用 11/13
03-31
　3.7.1 OrderBy和OrderByDescending 　3.7.2 ThenBy和ThenByDescending 　3.8 let子句 　3.9 join子句 　3.10 小结 第4章 用于集合、文件、字符串对象的LINQ(LINQ to Objects) 　4.1 LINQ标准查询运算符概述 　4.2 ...
LINQ入门及应用 13/13
03-31
　3.7.1 OrderBy和OrderByDescending 　3.7.2 ThenBy和ThenByDescending 　3.8 let子句 　3.9 join子句 　3.10 小结 第4章 用于集合、文件、字符串对象的LINQ(LINQ to Objects) 　4.1 LINQ标准查询运算符概述 　4.2 ...
LINQ入门及应用 8/13
03-31
　3.7.1 OrderBy和OrderByDescending 　3.7.2 ThenBy和ThenByDescending 　3.8 let子句 　3.9 join子句 　3.10 小结 第4章 用于集合、文件、字符串对象的LINQ(LINQ to Objects) 　4.1 LINQ标准查询运算符概述 　4.2 ...
mysql group by 用法解析(详细)
云烟阁
07-15 3283
在使用mysql时，有时需要查询出某个字段不重复的记录，虽然mysql提供 有distinct这个关键字来过滤掉多余的重复记录只保留一条，但往往只用它来返回不重复记录的条数，而不是用它来返回不重记录的所有值。其原因是 distinct只能返回它的目标字段，而无法返回其它字段，这个问题让我困扰了很久，用distinct不能解决的话，我只有用二重循环查询来解决，而 这样对于一个数据量非常大的站来说，无
hive语句优化-通过groupby实现distinct（数据量特别大的时候，使用distinct去重容易导致数据倾斜）
u011500419的专栏
02-18 2275
  hive语句优化-通过groupby实现distinct  同事写了个hive的sql语句，执行效率特别慢，跑了一个多小时程序只是map完了，reduce进行到20%。 该Hive语句如下：  select count(distinct ip)  from (select ip as ip from comprehensive.f_client_boot_daily where year...
group by ；distinct去重
qq_43528451的博客
05-11 2794
都是用来去重的，去重的，group by 主要是用来分组的；distict专门用来去重的。 结论：能使用group by代替distinct就不要使用distict； 原因：使用distinct（id）会将所有的id都shuffle到一个reduce里面，数据倾斜， group by 起来多个reducer，将数据分布到多态机器上执行，时间就非常快。 由于没有手动的指定reduce的个数，Hive会根据数据的大小动态的指定Reduce大小，也可手动指定 如果想在一条语句中考一条语句里看总记录条数以及去.
DISTINCT和GROUP BY的区别
热门推荐
专心学习
11-20 4万+
其实二者没有什么可比性，但是对于不包含聚集函数的GROUP BY操作来说，和DISTINCT操作是等价的。不过虽然二者的结果是一样的，但是二者的执行计划并不相同。 distinct只是将重复的行从结果中出去； group by是按指定的列分组，一般这时在select中会用到聚合函数。 distinct是把不同的记录显示出来。 group by是在查询时先把纪录按照类别分出来再查询。
es java distinct_用elasticsearch聚合函数实现distinct查询
weixin_42378997的博客
03-02 1707
1.等价的sqlSql代码 ：SELECT DISTINCT field1,field2 FROM test_index.test_type等价于Sql代码：SELECT field1,field2 FROM test_index.test_type GROUP BY field1,field2Controller：这是根据类型和传过来的可变字段key来查询/*** 布局管理-聚合查询* @par...
spark5种去重方式,快速去重
qq_39285950的博客
01-01 6513
双重group by将去重分成了两步,是分组聚合运算,group by操作能进行多个reduce任务并行处理,每个reduce都能收到一部分数据然后进行分组内去重,不再像distinct只有一个reduce进行全局去重.sql中最简单的方式,当数据量小的时候性能还好.当数据量大的时候性能较差.因为distinct全局只有一个reduce任务来做去重操作,极容易发生数据倾斜的情况,整体运行效率较慢.DataFrame中,可以先将分区内数据进行排序,然后通过dropDuplicates将重复的数据删除.
SQL不走索引的几种常见情况
Muscleheng的博客
07-01 1万+
我们写的SQL语句很多时候where条件用到了添加索引的列，但是却没有走索引，在网上找了资料，发现不是很准确，所以自己验证了一下，记一下笔记。 这里实验数据库为 MySQL（oracle也类似）。 查看表的索引的语句： show keys from 表名 查看SQL执行计划的语句（SQL语句前面添加 explain 关键字）：explain select* from users u wher...
Spark SQL distinct分析优化总结
Code_zhu的博客
03-29 6933
Spark count distinct原理 由于distinct过程会导致数据膨胀，导致shuffle、reduce双端数据倾斜，因此distinct算子操作特别慢 distinct慢的主要原因： 数据膨胀原理： select count(distinct id), count(distinct name) from table_a distinct算子在处理过程中是将distinct后的字段和group by字段共同作为key传入reduce，导致shuffle.
distinct和groupby的底层实现有何异同
最新发布
07-11
DISTINCT和GROUP BY都是用于对数据进行去重操作的，但它们在底层实现上有一些异同之处。 异同点如下： 1. 去重方式：DISTINCT通过对查询结果进行去重，而GROUP BY通过将数据按照指定的列进行分组，并对每个分组...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值