hive 中group by 后的多个 count / count(distinct) 指标计算执行原理

已于 2022-09-13 11:03:15 修改
阅读量910 收藏
点赞数
分类专栏： plan 文章标签： hive hadoop 数据仓库
于 2022-09-13 10:46:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/laidongxu666/article/details/126828645
版权 
explain select hour,count(*),count(distinct uid),count(distinct bg) from table where ds='2021-04-09' and hour = '12' group by hour;

一、开启Map端聚合参数设置，set hive.map.aggr=true;

此时，执行计划会多出在map 端的的预聚合操作

二、执行计划，查看日志可以看出，一个指标对应一个reduce job

三、扫描数据次数，只扫描数据 1次。

 spark 中的体现，猜测试

红烛暗盗梦
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Mongodb聚合函数count、distinct、group如何实现数据聚合操作
09-10
Mongodb中自带的基本聚合函数有三种：count、distinct和group。下面我们分别来讲述一下这三个基本聚合函数及如何实现数据聚合操作，感兴趣的朋友一起学习吧
MongoDB教程之聚合（count、distinct和group）
09-10
主要介绍了MongoDB教程之聚合,MongoDB除了基本的查询功能之外,还提供了强大的聚合功能,这里主要介绍count、distinct和group,需要的朋友可以参考下
count distinct 多个字段 或者 count(*) 统计group by 结果
weixin_34082789的博客
11-05 852
SELECT COUNT(*) FROM( SELECT 列名 FROM 表名 where ( 条件 )GROUP BY 多字段)临时表名   例如： SELECT COUNT(*) FROM(SELECT 石材名称, 厚mm, SUM(下料数量) AS 数量, 单位, max(下料明细编号) as 下料明细编号 FROM 加工量汇总...
count()和distinct关键字的使用
•一个写代码的• •知识星球•https://t.zsxq.com/15rGFbGEk
09-11 3万+
distinct关键字 distinct关键字是用于去除重复的数据记录。distinct使用情况： （1）select distinct * 情况 当distinct和*号结合使用时候，只有当所有字段都一模一样时候，才会去除重复记录，只保留一条。 （2）select distinct 列名1，列名2，...，列名n 情况 当指定列名后，只有指定的列名字段全部值全部相同时候，才会去除重复的记录，只保留一条。 注意：distinct关键字只能放在所有字段前面，不能在某个字段之后。 count(
Hive - distinct && group by 求 UV,PV 实战
BITDDD小栈
05-16 849
给定数据表中包含用户 uid 和用户是否点击广告的标签 label，经常有需求统计用户的下发，打开 UV,PV，下面通过 Hive 实现统计并分析 distinct 与 group by 的性能与使用场景。
group by以后如何count?
忆水思寒的博客
08-31 2551
原文：https://www.cnblogs.com/jimleestone/p/sql_001.html 当表数据量很庞大, 需要使用sql的limit功能来分页时, 需要发送两条sql才能实现分页 SELECT * FROM tablename WHERE conditions LIMIT pagestart, pagesize 以及 SELECT COUNT(*) FROM tablename WHERE conditions 其中第二条是在UI上显示总结果数量以及进行分页的操作; 但是,
GROUP BY与COUNT用法详解
热门推荐
liu_shi_jun的专栏
05-06 20万+
聚合函数在介绍GROUP BY 和 HAVING 子句前，我们必需先讲讲sql语言中一种特殊的函数：聚合函数， 例如SUM, COUNT, MAX, AVG等。这些函数和其它函数的根本区别就是它们一般作用在多条记录上。 SELECT SUM(population) FROM bbc 这里的SUM作用在所有返回记录的population字段上，结果就是该查询只返回一个结果，即国家的总人口数。
HiveSQL、SparkSQL数据倾斜优化示例（groupby带有count(distinct)的场景）
SKY_02的博客
01-29 1011
原逻辑 select t.col_a ,count(1) as cnt ,count(distinct t.userid) as userid ,count(distinct t.shopid) as shopid ,sum(t.amount) as amount from test.test_table_1 t group by t.col_a 还原hive的count(distinct)优化实现 在hive3.0及以上版本，设置参数：【set hive.op
mybatis使用group by返回多个值，包含count数据
爱的天空的博客
07-03 3万+
1、使用Navicat查询： select b.data_type,b.field_id,count(1) num from BSINERR b GROUP BY b.field_id,b.data_type; 结果为： 2、mybatis的mappe: <select id="countByFieldId" resultMap="byFiledId"> ...
MySQL--Group by分组与count计数（进阶）
L1542334210的博客
09-27 8万+
MySQL--Group by分组与count计数（进阶）1、Group by语法2、创建表格3、题目代码部分4、文末彩蛋      更多关于数据库知识请加关注哟~~。若需联系和想安装MySQL请加博主:      QQ:3327908431     &nbs...
Hive Sql – Multi Distinct（多个distinct在同一个query中） 优化
01-07
当多个 distinct 操作同时出现在 select 中，数据会分发多次。容易造成Reduce数据倾斜 优化点 1、如果不要求精确值，可以使用 spark-sql approx_count_distinct函数 （基数计数 hyperloglog） 2、修改SQL 基础数据...
hive 中join和Group的优化
01-07
group by 优化 set hive.map.aggr = true; //是否在 Map 端进行聚合，默认为 True ；该设置会消耗更多的内存。 set hive.groupby.mapaggr.checkinterval = 100000000; //在 Map 端进行聚合操作的条目数目 set hive....
hive的思维导图//////////////////
11-24
安装环境配置，使用案例等
Hive优化以及执行原理
11-20
Hive优化以及执行原理，一位前辈总结的hive知识，个人觉得非常有用，资源难找，现在贡献给大家，独乐乐不如众乐乐。
hive执行计划可视化工具
05-31
hive执行计划可视化工具
浅析Hive的group by和count（distinct）
DM_Source的博客
05-08 1万+
    首先，Hive的group by和count（distinct）都是去除重复的数据，某种程度上来说，两者产生的结果是一样的。    实例代码：select a,count(distinct b) from t group by aselect tt.a,count(b) from (select a,b from t group by a,b)tt group by tt.a    上面两...
Postgresql数据库count(distinct)优化
wangzhen3798的博客
09-07 1万+
基本信息 基本情况 表共800W数据，从260W的结果集中计算出不同的案件数量(130万)，需要执行20多秒 原SQL内容 select count(distinct c_bh_aj) as ajcount from db_znspgl.t_zlglpt_wt where d_cjrq between '20160913' and '20170909'; 表信息和数据量 zn
Hive 调优 Group By 、Count（distinct）、笛卡尔积
大数据流浪法师的学习笔记与分享
11-28 1081
Group By 默认情况下，Map阶段同一Key数据分发给一个reduce，当一个key数据过大时就倾斜了。 并不是所有的聚合操作都需要在Reduce端完成，很多聚合操作都可以先在Map端进行部分聚合，最后在Reduce端得出最终结果。 开启Map端聚合参数设置 （1）是否在Map端进行聚合，默认为True set hive.map.aggr = true; （2）在Map端进行聚合操作的条目...
HIVE点滴：group by和distinct语句的执行顺序
JackFeng's Blog
07-11 5404
同一条语句之中，如果同时有group by和distinct语句，是先group by后distinct，还是先distinct后group by呢？ 先说结论：先group by后distinct。
hive 同时count（distinct ）多个数据列的执行计划
最新发布
06-05
在 Hive 中同时使用 COUNT(DISTINCT) 函数对多个数据列进行计数时，执行计划将会包含以下步骤： 1. 首先执行 Map 阶段，对数据进行切分和映射操作。 2. 然后按照 GROUP BY 子句中指定的字段进行分组，对每个分组...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值