【hive】count() count(if) count(distinct if) sum(if)的区别

最新推荐文章于 2024-06-04 11:40:32 发布
最新推荐文章于 2024-06-04 11:40:32 发布
阅读量3.3k 收藏 10
点赞数 1
文章标签： hive big data sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/satan_9/article/details/120659303
版权
这篇博客详细介绍了Hive中count()、count(if)、count(distinct if)和sum(if)的区别。通过一个用户日活表的需求例子，说明了在进行数据统计时这些函数的不同行为，特别是count(distinct if)在处理条件筛选时会出现错误计数的问题，并提供了修正方法和使用sum(if)进行条件筛选的建议。
摘要由CSDN通过智能技术生成

【hive】count() count(if) count(distinct if) sum(if)的区别 

表名: user_active_day (用户日活表)

表内容:

user_id(用户id)   user_is_new(是否新用户 1:新增用户 0:老用户) location_city(用户所在地区) partition_date(日期分区)

需求:

　　找出20180901至今的xxx地区的用户日活量以及新增用户量

思路:

　　筛选日期分区和地区,统计user_id的数量为用户日活量,统计user_is_new = 1的数量为新增用户量.

最开始写的hql语句

1

2

3

4

5

select partition_date,count(user_id),

         count(if(user_is_new = 1, user_id, 0))  --注意新增用户量的统计

from dw.nice_live_dw_user_active_day

where location_city like '%xxx%'</
最低0.47元/天 解锁文章
satan_9
关注
  • 1
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Hive count(distinct ) 优化
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
04-28 486
第一阶段：
mysql sumif distinct_【hive】count() count(if) count(distinct if) sum(if)的区别
weixin_39996750的博客
02-10 1293
表名:user_active_day (用户日活表)表内容:user_id(用户id) user_is_new(是否新用户 1:新增用户 0:老用户) location_city(用户所在地区)partition_date(日期分区)需求:找出20180901至今的xxx地区的用户日活量以及新增用户量思路:筛选日期分区和地区,统计user_id的数量为用户日活量,统计user_is_new...
MySQL中distinct语句去查询重复记录及相关的性能讨论
12-15
在 MySQL 查询中，可能会包含重复值。这并不成问题，不过，有时您也许希望仅仅列出不同（distinct）的值。 关键词 DISTINCT 用于返回唯一不同的值，就是去重啦。用法也很简单： SELECT DISTINCT * FROM tableName DISTINCT 这个关键字来过滤掉多余的重复记录只保留一条。 另外，如果要对某个字段去重，可以试下： SELECT *, COUNT(DISTINCT nowamagic) FROM table GROUP BY nowamagic 这个用法，MySQL的版本不能太低。 在编写查询之前，我们甚至应该对过滤条件进行排序，真正高效的条
二百三十九、Hive——Hive函数全篇
最新发布
tiantang2renjian的博客
06-04 904
Hive函数全篇
mysql count if distinct
热门推荐
johnhuster的专栏
04-12 1万+
mysql count if distinct
mysql sumif distinct,azure-docs.zh-cn/data-flow-expression-functions.md at master · MicrosoftDocs/az...
weixin_28974985的博客
03-17 220
titledescriptionauthorms.authorms.servicems.topicms.customms.datems.openlocfilehashms.sourcegitcommitms.translationtypems.contentlocalems.lasthandoffms.locfileid映射数据流中的表达式函数了解映射数据流中的表达式函数。kromermmakro...
hive的条件查询语句_Hive SQL 条件函数 IF 详解
weixin_34598113的博客
02-15 6492
Hive SQL 条件函数 IF 是用于处理单个列的判断查询结果，形式为if(条件表达式, 结果1, 结果2)，相当于 java 中的三目运算符，只是 if 后面的表达式类型可以不一样。语法说明语法IF(boolean testCondition, T valueTrue, T valueFalseOrNull)说明如果 testCondition 为 true，就返回 valueTrue，否则...
Hive：select count(distinct)优化以及hive.groupby.skewindata
qq_38783098的博客
02-09 3293
问题引入 数据分析师小A接到需求，需要统计当日各个省份20岁以下的日活跃用户数（去重统计user_id，即UV） 现有一个Hive表存储着用户行为数据 Hive表：user_behaviour_trace_info 列 描述 user_id 用户id nickname 昵称 age 年龄 province 省份 url 访问地址 access_time 访问时间 device_id 用户手机设备id 小A很顺其自然的写.
【Hive】MapReduce 如何实现 Hive SQL 的基本操作-count
每天更新大数据面经和技术
09-05 486
count
实现开窗count distinct 历史累计截止日期去重统计
liuya19921123的博客
02-24 7645
解决问题：hive中count(distinct ) over() 无法使用场景 累计去除统计，实际经常使用到的场景比如会员每日历史累计消费，项目每日累计营收等。 案例： 数据准备： 用户轨迹用户访问日志表 test_visit_tab cookieid(用户id) uvdate(访问时间) pagename(浏览页面) pv(访问次数) cookie1 2022-02-01 A_page 1 cookie1 2022-02-01 B_page 2 cookie1 2022-02-0..
Hive条件count
很吵请安静
08-26 5259
记住一件事 count时， null不cout sum 时，null不统计，相当于0 条件count 1.用if count(if(substr(uid,0,1)='4',uid,null)) if(条件，条件成立值，条件不成立值） 2.用case when count(case when substr(uid,0,1)='4' then uid else null end) count(case when substr(uid,0,1)='4' then uid end ) case when可以
mysql 聚合函数非重复（distinct）查询
qq_42666583的博客
02-27 837
聚合函数非重复（distinct）查询 计算去重后的数据行数 select count(distinct product_type) from product; 计算数据行数后再去重 select distinct count(product_type) from product; ...
count distinct if 分析
qq_17902567的博客
04-04 9029
我们稍做修改 1 2 3 4 5 selectpartition_date,count(user_id), count(distinctif(user_is_new = 1, user_id, 0)) --注意新增用户量的统计,加了distinct去重 fromdw.nice_live_dw_...
hive中count(distinct)的相关优化
qq_42456324的博客
04-20 4599
1、单个count(distinct) 例子： select count(distinct id) as num from table_name 方法1（简单，但很多时候效果不明显） select count(id) as num from (select id from table_name group by id) a; 方法2（对分组字段进行加盐操作） select sum(tag_num) as num from (select tag ,cou
MySQL中使用sum(if()) 或 sum(case)实现条件式的汇总字段值
健身变秃，coding变强
04-30 1万+
MySQL中使用sum(if()) 或 sum(case)实现条件式的汇总字段值
sql中sum和count 以及 count(distinct )嵌套条件语句的用法
licux的博客
12-11 4191
sum是对选择的列的 每一条数据进行求和处理 count 是统计符合条件的列数 对于数据库中为空的值来说 ，两者都不计算 SELECT s.id,s.user_id, s.service_name, s.service_path, s.service_precision, s.concurrent_number, count(DISTINCT c.user_id) as history_user ,count(DISTINCT if(c.use_status = 1 , c.use
Mysql--limit、distinct、ifnull用法
weixin_45638528的博客
04-08 1048
适用场景：当要显示的数据一页显示不全，需要分页显示时；或只显示部分数据时 语法： select 查询列表 from 表1 (inner\left\right) join 表2 on 连接条件 where 筛选条件 group by 分组字段 having 分组后的筛选条件 order by 排序的字段 asc\desc limit offset,size; 注意： offse
distinct （if
08-24
distinct(if(user_is_new = 1, user_id, 0))是用于统计新增用户量的方法，通过在if语句中判断用户是否是新用户来区分统计的用户。这样可以确保结果准确且去重。 然而，在使用这种统计方法时，有时可能会出现结果不准确的情况。为了解决这个问题，可以使用更复杂的SQL查询语句来进行统计。在这个例子中，使用了嵌套的if语句和count函数来分别统计不同的事件类型和用户ID，并进行减法操作来得到正确的结果。 然而，尽管这样的查询语句在自测时可能会得到准确的结果，但当将其应用于tidb时，可能会出现不准确的情况。这可能是因为在运行查询时，涉及到的数据分区的不同导致结果不一致。因此，在使用这种查询语句时，需要注意并确保数据分区的一致性，以获得准确的结果。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [【hive】count() count(if) count(distinct if) sum(if)的区别](https://blog.csdn.net/weixin_39996750/article/details/113980253)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* *3* [Tidb 跨分区使用count distinct if 统计不准（有bug）](https://blog.csdn.net/lvqinglou/article/details/126878850)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值