巧用Hive自带函数进行多字段分别去重计数统计

最新推荐文章于 2024-05-30 17:40:25 发布
最新推荐文章于 2024-05-30 17:40:25 发布
阅读量1w 收藏 18
点赞数 1
分类专栏： 大数据分析 文章标签： Hive group by distinct collect_set
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41577045/article/details/83992165
版权
本文介绍了如何利用Hive的group by和collect_set函数进行多字段去重计数统计，避免数据倾斜问题。在面对大量数据时，传统的distinct操作可能导致效率低下，而通过group by与collect_set的组合，可以提高统计效率，特别是在需要对多个字段进行去重计数的场景下。同时，文章提醒注意，当去重后的结果数量较大时，仍可能引发数据倾斜。
摘要由CSDN通过智能技术生成

巧用Hive自带函数进行多字段分别去重计数统计

1-group by 和 distinct

大前提：大表统计能使用group by就不要使用distinct！！

尤其是在数据量非常大的时候，distinct会将所有的统计信息加载到一个reducer里取执行，这就是所谓的数据倾斜。而group by会把相同key的记录放到一个reducer区计算，因此效率会提高很多。

业务需要对一个分区内一百亿记录进行多个字段的去重统计。本着以上原则写出了以下代码:

SET hive.map.aggr=TRUE;
SET hive.optimize.skewjoin = TRUE;
SET hive.groupby.skewindata=TRUE;
SET mapreduce.input.fileinputformat.split.minsize=256000000;
SET mapreduce.input.fileinputformat.split.maxsize=512000000;
SET mapreduce.input.fileinputformat.split.minsize.per.node=512000000;
SET mapreduce.input.fileinputformat.split.minsize.per.rack=512000000
最低0.47元/天 解锁文章
月亮与六便士丶
关注
  • 1
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
数仓工具—Hive语法之collect_set 和 collect_list(17)
06-30 6万+
collect_set 和 collect_list 今天我们介绍两个函数 collect_sets 和 collect_list，其实看到这两个函数的名字你也能猜个七七八八了，我们都知道如果我们在使用聚合函数的时候，或者分组汇总的时候，我们算出来的都是具体的指标，例如求和、计数什么的，举个例子，假设 我们有一张表student(stu_id int,class_id int),一般情况下我们都是统计这个每个班级有多少学生，那这个SQL 很简单 select class_id,count(stu_id)
Hive函数大全.pdf
09-09
本篇文章将详细介绍Hive中的一些主要函数，包括数学函数、类型转换函数、条件函数、字符函数、聚合函数以及表生成函数。 一、关系运算 关系运算是查询语言的基础，用于比较和筛选数据。在Hive中，主要有以下几种...
hive去重统计
汐银的博客
12-11 2452
hive去重多行数据并统计 这个是练习数据部分截图，可以看出有部分重复数据 OK我们先进入hive 然后创建库uid create database uid; 然后创建表uid_id create table uid_id(uid_id int); 然后去重 select distinct uid_id from uid; 最后完成会弹一个提示里面有表的数据量就是出重后...
一张表内同时炸裂两个字段、多个字段
最新发布
weixin_51177841的博客
05-30 259
select '1002'id,'商品4,商品5,商品6'as name , '类型4,类型5,类型6' as type。select '1001' as id, '商品1,商品2' as name ,'类型1,类型2' as type。
[一起学Hive]之十五-分析Hive表和分区的统计信息(Statistics)
tony的专栏
05-06 2801
类似于Oracle的分析表，Hive中也提供了分析表和分区的功能，通过自动和手动分析Hive表，将Hive表的一些统计信息存储到元数据中。 表和分区的统计信息主要包括：行数、文件数、原始数据大小、所占存储大小、最后一次操作时间等； 14.1 新表的统计信息 对于一个新创建的表，默认情况下，如果通过INSERT OVERWRITE的方式插入数据，那么Hive会自动将该表或分区的统计
hive 在统计汇总时候，如何去重
04-13 371
create table xxxx.test_collect_list_set( first_level_directory int , second_level_directory int , third_level_directory int , order_id int ) ROW FORMAT DELIMITED FIELDS T...
Hive去重统计
优质后端技术知识记录
11-01 2714
select count(distinct AccountID) from CharacterLogin where day="27" and month="10";
HIVE调优之去重统计
weixin_30716725的博客
08-26 497
SELECT COUNT( DISTINCT id ) FROM TABLE_NAME WHERE ...; 对一个表中符合条件的记录统计不重复的id的总数。由于引入了DISTINCT，因此在Map阶段无法利用combine对输出结果消重，必须将id作为Key输出，在Reduce阶段再对来自于不同Map Task、相同Key的结果进行消重，计入最终统计值。作业运行时的Reduce T...
15-Hive统计1
08-08
- **会员级别统计**：利用`userlevelname`字段对不同级别的用户进行计数，了解各等级用户的活跃度。 - **每天评论量**：通过`creationtime`字段按日期分组，统计每天的评论数量，这需要对日期进行处理，可能需要...
hadoophive函数.pdf
11-19
在Hive中，数据处理和分析涉及众多的函数，这些函数涵盖了从基本的比较运算到复杂的数值计算，再到日期处理和字符串操作等多个方面。以下是对Hive中常见函数的详细解释： 1. 关系运算： - 等值比较（=）：用于判断...
Hive SQL性能优化
02-26
- **数据分组与计算**：对Map端发送过来的数据进行分组并计算聚合函数。 - **结果筛选**：执行SELECT子句中的字段筛选。 - **结果排序与输出**：根据ORDER BY和LIMIT子句对结果进行排序并限制输出数量。 #### 三...
HiveSQL解析原理.docx
12-25
- **第一种**：仍然按照单个Distinct字段的方式进行，但这种方式无法对多个Distinct字段分别排序，需要在Reduce阶段使用Hash表来去重。 - **第二种**：对所有Distinct字段进行编号，每行数据生成多行数据，使得...
hive使用技巧（三）——巧用group by实现去重统计
木东的博客
07-19 2846
相关文章推荐： hive使用技巧（一）自动化动态分配表分区及修改hive表字段名称 hive使用技巧（二）——共享中间结果集 hive使用技巧（三）——巧用group by实现去重统计 hive使用技巧（四）——巧用MapJoin解决数据倾斜问题 Hive使用技巧（五）—— 一行转多行,多行转一行 网站统计中常用的指标，pv ,uv ,
hive数据表去重方法
热门推荐
zcc_0015的专栏
12-02 2万+
1、hive 0.8.0数据表去重方法 问题描述：hive的外部表test中，在若干字段上存在重复现象，现在需要将若干字段上值相同的多条记录，只保其中留一条，           舍弃其余的。           解决思路：    （1）group by的方法          首先新建与test表完全相同的新表test_pure,然后利用group by在有相同值的若干字段上进
hive基于多列去重操作
qy20115549的博客
11-07 1万+
文章目录解决思路例子 解决思路 一种解决思路是使用group by。即group by用于判断数据重复的多个字段，再使用： collect_set(非group by字段)[0] 从group by获取的数据中随意取一个非group by字段。 例子 例如，有下表： 我需要以前两列的字段作为判断重复的标准，即user_name和commentid字段。如若重复，其他列随机取字段值就行了。如下...
HIVE去重及其应用之UV统计
ArYe
10-20 715
HIVE uv pv 数据分析 sql 去重
统计HIVE字段行数、NULL行数、字段重复行数
ArYe
04-19 3713
源MySQL数据导入HIVE数据仓库ODS层后，统计主键行数、主键NULL行数、主键重复行数 统计HIVE表主键行数、主键NULL行数、主键重复行数的SQL
Hive-优化调优[(Count(Distinct)去重统计]
weixin_43586713的博客
10-20 3598
Count(Distinct) 去重统计 Count(Distinct)只会开启一个reduce.如果数据量大的话,这个Job很难完成。 数据量小的时候无所谓，数据量大的情况下，由于 COUNT DISTINCT 操作需要用一个 Reduce Task 来完成，这一个 Reduce 需要处理的数据量太大，就会导致整个 Job 很难完成， 一般 COUNT DISTINCT 使用先 GROUP BY 再 COUNT 的方式替换,但是需要注意 group by 造成 的数据倾斜问题. (1）案例实操 1）创建
hive通过grouping sets多维度组合去重统计避免使用distinct
fuyun6363的博客
02-23 3164
在hive中，如果遇到多维度组合统计，并且要进行去重统计，例如统计不同维度组合的访问用户数，比如统计运营商、手机品牌、网络类型的用户数，怎样避免不用ditinct（因为distinct效率低），并且grouping__id和以前维度组合保持一致呢？ select * from temp.temp_active_user_info t limit 10; 实现方法一：通过grouping set...
hive拆分字段函数
05-25
Hive中可以使用`substr()`和`split()`函数对字段进行拆分。 `substr()`函数用于返回一个字符串的子串，语法如下： ``` substr(string str, int start, int len) ``` 其中，str表示要进行子串操作的字符串，start表示子串的起始位置，从1开始计数，len表示子串的长度。 例如，要将字段col1的前三个字符作为新字段col2，可以使用以下语句： ```sql select substr(col1, 1, 3) as col2 from table ``` `split()`函数用于根据指定的分隔符将字符串拆分成数组，语法如下： ``` split(string str, string delimiter) ``` 其中，str表示要进行拆分的字符串，delimiter表示分隔符。 例如，要将字段col1按照逗号拆分成数组，并取数组中第二个元素作为新字段col2，可以使用以下语句： ```sql select split(col1, ',')[1] as col2 from table ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值