SQL优化：多个count(distinct)跑得慢如何优化？

Suuuuuuu.

已于 2024-07-14 15:49:25 修改

阅读量708

点赞数 10

文章标签： sql spark 大数据

于 2024-07-14 15:47:44 首次发布

本文链接：https://blog.csdn.net/weixin_45166330/article/details/140417354

版权

文章目录

背景

spark sql中，使用count(distinct)会使得数据发生expand，使得stage的全部task跑的慢
原因：数据expand会使得数据翻n倍，单个task处理过多的数据
conut(distinct)源码分析

优化方法

一、改写sql

适用于最后去重的字段时同一个，只是条件不同

将数据聚合到去重字段粒度
计算结果

二、膨胀前repartition

通过repartition或distribute by，在数据膨胀前，手动用一次shuffle将数据打散到更多的task
如：表有1280M，一个task读128M，在进行数据膨胀之前，通过repartition打散到100个task上，每个task只有12.8M，则发生数据膨胀也10倍也不会超过单个task的处理能力
注意：repartition的数量可以根据膨胀倍数进行确定

三、参数调优

让每个map读的数据变少，如设置12M，数据膨胀10倍至120M时一个task也能进行处理
存在的问题：读表变慢，因为需要用到更多的task

set spark.sql.files.maxPartitionBytes = 12m;

四、逻辑拆分

把逻辑拆开，分别计算指标，然后再join起来

总结

考虑去重字段数量

最后去重的字段是一个，仅条件不同

1>2>3>4

最后去重的字段是多个

2>3>4
（此时方法1不适用）

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Suuuuuuu.

关注关注

10
点赞
踩
3

收藏

觉得还不错? 一键收藏
1
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

优化调优：Count(DISTINCT)去重统计

My_wife_QBL的博客

07-30

2363

函数返回指定列中唯一值的数量。这在数据去重和汇总分析中非常有用。例如，假设有一个用户表，包含用户的注册信息，可以使用来计算唯一用户的数量。在数据分析和统计过程中，是一个常用且重要的功能。然而，随着数据集规模的增加，性能问题愈发突出。通过合理的优化策略，如使用索引、子查询、近似算法等，可以显著提高的性能。在实际应用中，了解数据特性、合理设计数据库结构和查询策略是优化的关键。同时，定期监控和评估查询性能，及时进行调整与优化，能够确保数据分析的高效性与准确性。

Spark实现SQL的count(*),count(distinct * *) 即pv、uv

IBoyMan

07-03

8435

自己上代码，如果不理解的地方，可以百度或留言import org.apache.spark.{SparkConf,SparkContext} /** * Created by zhang on 2018/6/29. */ object WordCount { def dealTime(line:String) ={ line.substring(0,10) } def ...

1 条评论您还未登录，请先登录后发表或查看评论

【实战篇】count(*)这么慢，我该怎么办？

最新发布

shenyongsi的博客

09-11

1076

我们可能经常需要计算一个表的行数，但是，我们会发现随着系统中记录数越来越多，这条语句执行得也会越来越慢。那么今天，我们就来聊聊 count(*) 语句到底是怎样实现的，以及 MySQL 为什么会这么实现。然后，在讨论下如果应用中有这种频繁变更并需要统计表行数的需求，业务设计上可以怎么做。

count distinct总结

ALX3li的博客

01-04

496

原理总结：count distinc 在spark上运行，会基于Expand, Exploded Shuffle, Partial Aggregations，多个count distinct转化为count

count(distinct)优化

m0_48714980的博客

12-17

962

当查询数据量很大的时候，count(distinct)会导致内存溢出 SELECT shop_name,COUNT(DISTINCT user_id) AS uv FROM user_visit GROUP BY shop_name; 往往会用下面所替代 SELECT shop_name,COUNT(*) FROM ( SELECT shop_name,user_id FROM user_visit GROUP BY shop_name,user_id) tmp GROUP BY shop_name ;

mysql count distinct太慢_mysql – 即使使用覆盖索引也可以优化COUNT(DISTINCT)的速度

weixin_28745975的博客

01-20

1263

我们在MySql中有一个表有大约3000万条记录,以下是表结构CREATE TABLE `campaign_logs` (`domain` varchar(50) DEFAULT NULL,`campaign_id` varchar(50) DEFAULT NULL,`subscriber_id` varchar(50) DEFAULT NULL,`message` varchar(21000) ...

count(distinct())效率优化

eagle89的专栏

09-16

3万+

如何提升自身sql效率，更快得到想要的数据，是每一个使用sql的同学都需要学习和关注的事情。 sql作为面向大众的数据提取工具，除了研发、数据分析师，产品经理及业务运营同学也都有应用需求。只要sql无语法错误，保持等待，或长或短都是可以输出结果的。但是在数据量庞大或数据逻辑复杂时，或碰上线上资源紧张，或者好不容易等了3小时、结果发现数据有点异常需要修改后重跑，不知道有没有同学有相同的经历。低效是每位同学都不乐见的，而避免这个问题就要求我们学习优化sql的方法，从而减少自己等数的焦虑时光。而其中最常

Vol09-多字段多粒度count(distinct) 优化

Pysamlam的博客

03-02

715

数据处理过程中count(distinct)效率较低，数据量一多准出问题，如果是多字段count(distinct)效率更低。解决方法：使用row_number实现cou...

mysql count distinct太慢_MySQLCOUNT(*)和DISTINCT效率分析

weixin_35714534的博客

01-20

2375

MySQL数据库对于COUNT(*)的不同处理会造成不同的结果，比如，执行下面查询时，即使对于千万级别的数据mysql也能非常迅速的返回结果。SELECTCOUNT(*) FROM tablename但如果这样执行， mysql的查询时间开始攀升。SELECT COUNT(*) FROM tablename WHERE…..当没有WHERE语句对于整个mysql的表进行count运算的时候，M...

对含distinct操作的SQL的优化

cuilin2183的博客

02-15

526

今天帮同事优化了一条含distinct操作的SQL，因为这个SQL在数据仓库环境中非常经典，因此有比较拿出来说一说。 [@more@]原SQL：sys@dwrac1> select count(distinct a....

Hive之count (distinct)剖析与优化

KGC的博客

04-11

3038

市场部小姐姐：我的sql为啥这么慢呀？

SQL性能优化的21个小技巧

热门推荐

学Java，找哪吒

08-29

4万+

真正的一文在手，优化我有！

HIVE SQL优化的两个思路

tang_gang的博客

07-25

619

上一篇我们介绍了关系型数据库SQL的优化主要是索引和减少数据量，本文以大家常用的HIVE SQL为基础来介绍如何优化SQL的运行速度。下面是本次分享的逻辑和顺序： HIVE SQL优化的核心数据倾斜大家知道大数据的核心之一就是数据量大，所以数据量很大对于大数据本身不是挑战，否则就不叫大数据了。大数据最怕的就是数据倾斜，所谓的倾斜就是所有的task都放到一个节点（暂且理解为一台机器）去这性，这样大数据的大（分布式集群）的优势就无法发挥出来。就想下面这整图，看着是一堆处理器，实际干..

ODPS SQL 优化总结

Code365

06-25

727

通过CREATE TABLE或者ALTER TABLE语句，指定一个或者多个Cluster列，通过哈希方法，把数据存储分散到若干个桶里面，类似于这样：CREATE TABLE T (C1 string, C2 string, C3 int) CLUSTERED BY (C3) SORTED by (C3) INTO 1024 BUCKETS;

Hive SQL优化

Chaser_lim1024

07-27

1288

Hive SQL优化 案例一： 1.1 将要执行的查询(执行了 1个多小时才出结果)： SELECT dt as DATA_DATE,STRATEGY,AB_GROUP,SOURCE, count(distinct case when lower(event) not like '%push%' and event!='corner_mark_show' then udid else null end) as DAU, count(case when event='client_show'

hive count(distinct )的优化手段

h494411的博客

03-06

428

背景: 近期做了ABT项目,基于公司的营销系统的push渠道去做AB测试,把人群划分为A分支和B分支,每个分支采用不同的算法模型,去查看其对应A分支和B分支带来的uv转化和对应的订单转化.优化手段:优化手段: 将去重指标count(distinct xxxx) 拉出去单独计算, 这一部分去重指标改为group by再向上聚合,再union all 回去.当要统计某一列去重数时，如果数据量很大，count(distinct) 就会非常慢，原因与 group by 类似，

Hive中count(distinct)优化

weixin_44852067的博客

03-15

642

hive.groupby.skewindata 对 count(distinct) 的优化是有限制的，当 hive.groupby.skewindata = true 时，SQL只能对一个列进行 count(distinct)其实这很容易理解，在刚刚的手动优化过程中，能够很容易发现，这个方法不能同时对多个列进行去重+计数得出各自的 count(distinct) 值主要原因：无法在某一个维度里，同时对多个列进行去重。

多列 count(distinct)改写优化

m0_49291452的博客

06-30

1213

gabse

MySQL查询执行（一）：count执行慢

热爱数据库的小胖

07-27

1162

MySQL查询处理器是MySQL数据库服务器的组件，它负责执行SQL查询。查询处理器的主要任务是解析查询（把用户提交的SQL查询转换为可以被数据库引擎理解和执行的数据操作指令序列），生成查询计划，然后执行该计划。SQL语句查询编译的步骤：1）语法分析，建立查询分析树；2）生成逻辑计划，将分析树转化为初始查询计划，并优化；（逻辑优化，生成逻辑执行计划）3）生成物理计划，为逻辑计划中的每个操作符选择实现算法以及执行顺序；

Oracle SQL优化：用EXISTS替换DISTINCT提升性能

Oracle SQL优化是一个广泛的话题，涉及到多个方面。在SQL语句执行过程中，理解SQL的处理过程、Oracle的优化器以及如何获取和分析执行计划是关键。优化基础知识包括性能管理，如尽早开始调整、设立合适的目标，并且在...