groupby多个字段性能_神奇的SQL查询经历，group by慢查询优化

最新推荐文章于 2024-05-23 14:27:44 发布

weixin_39747511

最新推荐文章于 2024-05-23 14:27:44 发布

阅读量1.1k

点赞数

一、问题背景

现网出现慢查询，在500万数量级的情况下，单表查询速度在30多秒，需要对sql进行优化，sql如下：

我在测试环境构造了500万条数据，模拟了这个慢查询。

简单来说，就是查询一定条件下，都有哪些用户的。很简单的sql，可以看到，查询耗时为37秒。

说一下app_account字段的分布情况，随机生成了5000个不同的随机数，然后分布到了这500万条数据里，平均来说，每个app_account都会有1000个是重复的值，种类共有5000个。

二、看执行计划

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_39747511

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
groupby多个字段性能_神奇的SQL查询经历，group by慢查询优化

一、问题背景现网出现慢查询，在500万数量级的情况下，单表查询速度在30多秒，需要对sql进行优化，sql如下：我在测试环境构造了500万条数据，模拟了这个慢查询。简单来说，就是查询一定条件下，都有哪些用户的。很简单的sql，可以看到，查询耗时为37秒。说一下app_account字段的分布情况，随机生成了5000个不同的随机数，然后分布到了这500万条数据里，平均来说，每个app_ac...
复制链接

扫一扫

MySQL group by是如何使用索引的？

yasinshaw的博客

05-29

9125

点击↑上方↑蓝色“编了个程”关注我~这是Yasin的第 64 篇原创文章最近的文章都是用的自己拍的照片。住的地方附近有个小花园，今天下了点雨，下午去花园散步的时候觉得上面的露珠很漂亮，就顺手拍了一张。现在的年轻人生活都太忙碌，很少有时间去仔细观察大自然的美。但有时候停下来看看，可能内心会平静一些，聚焦当下，烦恼会少一点，快乐会多一点。前两天项目上有一个查询的需求，需要用到...

sql server中Select count(*)和Count(1)的区别和执行方式

09-10

在SQL Server中Count(*)或者Count(1)或者Count([列])或许是最常用的聚合函数。很多人其实对这三者之间是区分不清的。本文会阐述这三者的作用，关系以及背后的原理

参与评论您还未登录，请先登录后发表或查看评论

MySQL关于group by的优化

最新发布

weixin_47681093的博客

05-23

1073

为GROUP BY使用索引的最重要的先决条件是，所有GROUP BY列引用来自同一索引的属性，并且索引按顺序存储其键(例如，对于BTREE索引是如此，但对于HASH索引则不是如此)。对于索引中的列，必须索引完整的列值，而不仅仅是一个前缀。例如，对于c1 VARCHAR(20)， INDEX (c1(10))，索引仅使用c1值的前缀，不能用于松散索引扫描。除了查询中引用的GROUP BY之外，索引的任何其他部分都必须是常量(也就是说，它们必须在使用常量的等式中被引用)，除了MIN()或MAX()函数的参数。

groupby多个字段性能_记一次神奇的 SQL 查询经历，group by 慢查询优化

weixin_39626180的博客

11-28

1390

一、问题背景二、看执行计划三、优化思路一思路二思路三四、你以为这就结束了吗五、后续（还未解决）六、最终解决方案《Java 2019 超神之路》《Dubbo 实现原理与源码解析 —— 精品合集》《Spring 实现原理与源码解析 —— 精品合集》《MyBatis 实现原理与源码解析 —— 精品合集》《Spring MVC 实现原理与源码解析 —— 精品合集》《Spring Boot 实现原理与源码解...

MySQL——GROUP BY详解与优化

weixin_39827856的博客

07-22

9711

在 MySQL 中，GROUP BY用于将具有指定列中相同值的行分组在一起。这是在处理大量数据时非常有用的功能，允许对数据进行分类和聚合。

mysql distinct 慢_分析MySQL中优化distinct的技巧

lz610756247的专栏

12-31

3610

有这样的一个需求：select count(distinct nick) from user_access_xx_xx; 这条sql用于统计用户访问的uv，由于单表的数据量在10G以上，即使在user_access_xx_xx上加上nick的索引，通过查看执行计划，也为全索引扫描，sql在执行的时候，会对整个服务器带来抖动； root@db 09:00:12>select count(distinct nick) from user_access; +———————-+ | count(d

MySql Group By对多个字段进行分组的实现方法

09-09

MySQL中的GROUP BY语句是用于对数据库表中的数据进行分组的重要工具，它根据一个或多个字段的值将记录归类。在多个字段上使用GROUP BY可以帮助我们更精确地分析和汇总数据，这对于数据报告、统计分析以及业务决策至...

mysql筛选GROUP BY多个字段组合时的用法分享

01-21

想实现这样一种效果如果使用group by一个条件的话,得到的结果会少了很多,如何多个条件组合筛选呢代码如下: group by fielda,fieldb,fieldc… 循环的时候可以通过判断后一个跟前面一个是否相同来分组，一个示例代码...

mysql group by 对多个字段进行分组操作

12-14

MySQL的GROUP BY语句是数据库查询中用于对数据进行分组和聚合操作的关键部分，它允许我们基于一个或多个字段的值对数据进行汇总。在本文中，我们将深入探讨GROUP BY的基本概念、语法以及如何使用它来处理多字段分组...

分组查询GROUP BY的使用与SQL执行顺序的讲解

09-09

分组查询GROUP BY是SQL语言中用于对查询结果进行数据分组的关键子句，它允许我们将数据按照一个或多个列的值进行聚合。在使用GROUP BY时，有一些基本规则需要遵循： 1. GROUP BY子句可以包含任意数量的列，这意味着...

mysql group by where 建立索引

m0_47165403的博客

02-16

782

mysql group by where 建立索引

数据库调优：Mysql索引对group by 排序的影响

RuiHao-He的博客

08-02

1043

通常情况下，rows用来表示在SQL执行过程中会被扫描的行数，该数值越大，意味着需要扫描的行数，相应的耗时更长。但是需要注意的是EXPLAIN中输出的rows只是一个估算值，如果数据分布有偏差，并且您声明查看具有不同分布结果的部分数据可能会偏离 10-100 倍甚至更多。建立索引的字段通常都是作为查询条件的字段(一般作为WHERE子句的条件)，却容易忽略查询语句里包含order by的场景。目前单表总量是700W+，某货主下的SKU占比为240W+，在页面查询的时候出现慢查，返回前端超时，导致页面报错。..

Mysql group by

技无涯的博客

05-10

351

mysql group by底层原理　　参考地址:https://www.cnblogs.com/bonelee/p/6359250.html 参考地址:https://blog.csdn.net/xtdhqdhq/article/details/18408905 　　由于GROUP BY 实际上也同样会进行排序操作，而且与ORDER BY 相比，GROUP BY 主要只是多了排序之后的分组操作。当然，如果在分组的时候还使用了其他的一些聚合函数，那么还需要一些聚合函数的计算。所以，...

mysql中的分组 -- group by

java小兵

08-20

4209

目录一、前言关于联合索引：官方文档：二、group by语句3种执行逻辑： 2.1松散索引扫描（Loose Index Scan）概念：原理：使用松散索引扫描需要满足以下条件： 2.2紧凑索引扫描（Tight Index Scan）概念：原理：使用紧凑索引扫描需要满足以下条件：松散索引扫描和紧凑索引扫描的比较： 2.3内部内存临时表三、group by语句的优化：四、DISTINCT 优化概念：举例：一、前言满足一个GROUP B

mysql中groupby会用到索引吗_Mysqlgroupby实现方式(一)-索引扫描

weixin_40009472的博客

12-21

8366

由于GROUP BY实际上也同样须要进行排序操作，而且与ORDER BY相比，GROUP BY主要只是多了排序之后的分组操作。所以，在GROUP BY的实现过程中，与ORDER BY一样可以利用索引例如有一个索引idx(c1,c2,c3)SELECT c1, c2 FROM t1 WHERE c1 < 10 GROUP BY c1, c2;这条查询就可以直接使用索引扫描完成使用索引扫描需要什...

不得不知的MySQL索引和查询优化

天行健，君子以自强不息；地势坤，君子以厚德载物。

03-20

403

阅读文本大概需要10分钟。“本文主要总结了工作中一些常用的操作及不合理的操作，在对慢查询进行优化时收集的一些有用的资料和信息，本文适合有 MySQL 基础的开发人员。索引...

实用排坑帖：SQL语句性能优化操作策略大全

xp_lx12的博客

01-22

952

本文会提到52条SQL语句性能优化策略。 1、对查询进行优化，应尽量避免全表扫描，首先应考虑在where及order by涉及的列上建立索引。 2、应尽量避免在where子句中对字段进行null值判断，创建表时NULL是默认值，但大多数时候应该使用NOT NULL，或者使用一个特殊的值，如0，-1作为默认值。 3、应尽量避免在where子句中使用!=或<>操作符...

如何优化 DISTINCT

weixin_47498250的博客

06-19

5095

sql distinct详解以及优化一.distinct简介 distinct这个关键字来过滤掉多余的重复记录只保留一条，但往往只用它来返回不重复记录的条数，而不是用它来返回不重记录的所有值。其原因是distinct只有用二重循环查询来解决，而这样对于一个数据量非常大的站来说，无疑是会直接影响到效率的。下面先来看看例子： table表字段1 字段2 id name 1 a 2 b 3 c 4 c 5 b 库结构大概这样，这只是一个简单的例子，实际情况会复杂得多。比如我想用一条

MySQL索引原理及慢查询优化

weixin_45581618的博客

08-29

358

背景 MySQL凭借着出色的性能、低廉的成本、丰富的资源，已经成为绝大多数互联网公司的首选关系型数据库。虽然性能出色，但所谓“好马配好鞍”，如何能够更好的使用它，已经成为开发工程师的必修课，我们经常会从职位描述上看到诸如“精通MySQL”、“SQL语句优化”、“了解数据库原理”等要求。我们知道一般的应用系统，读写比例在10:1左右，而且插入操作和一般的更新操作很少出现性能问题，遇到最多的，也是最容...

groupby多个字段性能_SQL 性能优化

06-10

在 SQL 中使用 GROUP BY 多个字段会对性能产生一定的影响，因为它将会对多个字段进行排序和分组操作。以下是一些优化 GROUP BY 多个字段的技巧： 1. 使用索引：在 GROUP BY 多个字段时，使用索引可以显著提高查询性能。如果没有合适的索引可用，可以考虑创建一个包含多个字段的联合索引。 2. 减少要处理的数据量：可以通过 WHERE 子句过滤掉一些不需要处理的数据，从而减少 GROUP BY 的数据量。 3. 使用子查询：可以使用子查询将 GROUP BY 操作分解为多个步骤，从而减少要处理的数据量。 4. 使用临时表：可以使用临时表将 GROUP BY 操作分解为多个步骤，从而减少要处理的数据量。 5. 使用聚合函数：如果只需要对其中一个字段进行 GROUP BY，可以使用聚合函数对其他字段进行聚合操作，从而避免 GROUP BY 多个字段。以上是一些优化 GROUP BY 多个字段的技巧，具体的优化方法需要根据具体的情况进行选择。