大数据开发之Hive案例篇5- count(distinct) 优化一例

最新推荐文章于 2024-09-26 22:35:38 发布
最新推荐文章于 2024-09-26 22:35:38 发布
阅读量413 收藏
点赞数
分类专栏： 大数据和数据仓库 # Hive 文章标签： 大数据 hive hadoop hive优化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010520724/article/details/130841147
版权

文章目录

一. 问题描述

需求:
4895708a4e03a6ab96b34ae81456e58.png

卡在了reduce，只有一个reduce
MR job卡在了最后一个reduce，任务迟迟未运行成功
image.png

二. 解决方案

2.1 调整reduce个数

一般一个reduce处理的数据是1G，所以首先想能不能增加reduce的个数来调优上述Hive SQL。

-- 可以指定每个redcue处理的数据size，也可以直接指定reduce的个数
set hive.exec.reducers.bytes.per.reducer = 12000000;

经验证，调整了上述参数后，问题依旧没有得到解决。

2.2 SQL改写

上述SQL所代表的业务逻辑是求截止当前每分钟的用户访问数(如出现多次，只算一次)
SQL也是因为 count(distinct)的存在，导致reduce数分配少了，进而出现数据性能问题。

所以首先我们想想能不能把count(distinct)去掉
因为本身是离线数据，此时可以借助临时表，首先把每个用户首次访问的时间记录下来，这样就可以将处理的数据大大减少，最后再通过开窗函数处理即可。
完美解决:
image.png

(12)Hive调优——count distinct去重优化
爱吃辣条的博客
02-15 2377
Hive调优——count distinct替换
大数据之-hive
weixin_43204767的博客
11-18 1766
1 hive环境搭建 2hive 安装 2.1 hive交互命令 1） “-e”不进入 hive 的交互窗口执行 sql 语句 [root@hadoop102 hive]# bin/hive -e “select * from test” 2） “-f”执行脚本中 sql 语句 bin/hive -f /opt/module/hive/datas/hivef.sql 主要运用写脚本时候使用的。 3 Hive数据类型 3.1 基本数据类型 对于 Hive 的 String 类型相当于数据库的 varchar
count(distinct())效率优化
热门推荐
eagle89的专栏
09-16 3万+
如何提升自身sql效率，更快得到想要的数据，是每一个使用sql的同学都需要学习和关注的事情。 sql作为面向大众的数据提取工具，除了研发、数据分析师，产品经理及业务运营同学也都有应用需求。只要sql无语法错误，保持等待，或长或短都是可以输出结果的。但是在数据量庞大或数据逻辑复杂时，或碰上线上资源紧张，或者好不容易等了3小时、结果发现数据有点异常需要修改后重跑，不知道有没有同学有相同的经历。 低效是每位同学都不乐见的，而避免这个问题就要求我们学习优化sql的方法，从而减少自己等数的焦虑时光。 而其中最常
MySQL 中优化 COUNT()查询的实用指南
最新发布
我爱娃哈哈的专栏
09-26 614
在 MySQL 数据库的使用中，我们经常会用到 COUNT()函数来统计行数或满足特定条件的行数。在 MySQL 中优化 COUNT()查询可以提高数据库的性能，减少查询的执行时间。通过使用索引、选择合适的 COUNT()参数、避免复杂查询条件、使用近似统计方法和分区表等方法，可以有效地优化 COUNT()查询。如果 COUNT()查询带有复杂的查询条件，可以考虑将复杂的查询条件拆分成多个简单的查询条件，然后使用子查询或临时表来进行统计。是最快的方法，因为它不需要读取表中的具体数据，只需要统计行数。
count(distinct)优化
m0_48714980的博客
12-17 962
当查询数据量很大的时候，count(distinct)会导致内存溢出 SELECT shop_name,COUNT(DISTINCT user_id) AS uv FROM user_visit GROUP BY shop_name; 往往会用下面所替代 SELECT shop_name,COUNT(*) FROM ( SELECT shop_name,user_id FROM user_visit GROUP BY shop_name,user_id) tmp GROUP BY shop_name ;
优化调优：Count(DISTINCT)去重统计
My_wife_QBL的博客
07-30 2587
函数返回指定列中唯一值的数量。这在数据去重和汇总分析中非常有用。例如，假设有一个用户表，包含用户的注册信息，可以使用来计算唯一用户的数量。在数据分析和统计过程中，是一个常用且重要的功能。然而，随着数据集规模的增加，性能问题愈发突出。通过合理的优化策略，如使用索引、子查询、近似算法等，可以显著提高的性能。在实际应用中，了解数据特性、合理设计数据库结构和查询策略是优化的关键。同时，定期监控和评估查询性能，及时进行调整与优化，能够确保数据分析的高效性与准确性。
sql优化之：count(distinct xxxx)
vic868的专栏
10-08 871
select count(distinct   column) from table_name; 这样一条sql在数据量比较大时可能跑的时间很长。 可以用：select count(1) from (select   column from table_name group by column) 效果可以有所改善
大数据之Hive总结篇及Hive优化
juan777的博客
02-04 1604
Hive学习也有一段时间了，今天来对Hive进行一个总结，谈谈自己的理解，作者还是个小白，有不对的地方请大家指出相互学习，共同进步。今天来谈一谈什么是Hive，产生背景，优势等一系列问题。 什么是Hive 先来谈谈自己的理解： 有些人可能会说Hive不就是写SQL的吗，那我们其实可以从另一个角度来理解:Hive就是那么强大啊，只要写SQL就能解决问题，其实这些人说的也没错Hive...
大数据--hive8--hive性能调优
数据挖掘+大数据研发+算法学习
05-02 274
一：具体问题场景以及优化方案 1.1 输入为大量小文件，通过调整文件块大小，对未达到阈值的小文件进行合并，减少map数量。 问题场景：输入文件数量多，其中很多是远远小于256 M的小文件（hdfs中文件块大小为256M）. set mapred.max.split.size = 100000000; set mapred.min.split.size.per.node = 100000000; set mapred.min.split.size.per.rack = 100000000; set h
大数据--hive11--留存指标的计算
数据挖掘+大数据研发+算法学习
06-10 541
一：留存定义 以天为单位，跨天后再来访问即为留存，例如给定我们的需求： 知道指定日期后隔1-14天的留存，如2020-08-01天来的访客，之后1天，2天，3天，....再来人数。 注意：我们要清楚留存是针对谁（那个日期）来说的例如用户a25日有记录，26日没有记录，27日有记录。 那么我们是针对25日来说的，也就是说25日的用户a,1日留存没有, 有2日留存。 留存率：具体问题具体分析，一般分母都是2020-08-01的人数。 二：真实需求，求14日的留存 2.1 源数据 ...
hive 创建访问用户_HIVE大数据实战项目---用户行为分析
weixin_39842955的博客
12-19 363
一、项目需求本案例的数据为小程序运营数据，以行业常见指标对用户行为进行分析，包括UV、PV、新增用户分析、留存分析、复购分析等内容。项目需求如下：1.日访问量分析，并观察其走势2.不同行为类型的访问量分析3.一天中不同时间段的访问量分析(时间段按小时划分)4.每日新增用户情况分析5.用户留存分析6.复购分析7.商品排行榜分析8.利用sqoop将数据分析结果导入mysql存储二、数据介绍1.用户行为...
分析MySQL中优化distinct的技巧
12-15
有这样的一个需求：select count(distinct nick) from user_access_xx_xx; 这条sql用于统计用户访问的uv，由于单表的数据量在10G以上，即使在user_access_xx_xx上加上nick的索引， 通过查看执行计划，也为全索引扫描，sql在执行的时候，会对整个服务器带来抖动； root@db 09:00:12>select count(distinct nick) from user_access; +———————-+ | count(distinct nick) | +———————-+ | 806934 | +—————
SQL优化（二） 快速计算Distinct Count
wuyy0224的博客
09-03 2491
如果必须要计算精确的distinct count，可以针对不同的情况使用count distinct或者count group by来实现较好的效率，同时对于数据的存储类型，能使用macaddr/intger/bigint的，尽量不要使用text。另外不必要精确计算，只需要保证误差在可接受的范围之内，或者计算效率更重要时，可以采用本文所介绍的，，，LogLog，等近似算法。
关于count(distinct)的优化
05-02 3644
日常统计场景中，我们经常会对一段时期内的字段进行消重并统计数量，SQL语句类似于 SELECT COUNT( DISTINCT id ) FROM TABLE_NAME WHERE ...; 这条语句是从一个表的符合WHERE条件的记录中统计不重复的id的总数。 该语句转化为MapRed...
数仓|COUNT DISTINCT数据倾斜优化
延宝小白马的博客
03-27 1544
什么是数据倾斜 数据倾斜，在MapReduce编程模型中十分常见，就是大量的相同key被分配到一个分区里，造成了个别task运行的非常慢，从而影响了整个任务的执行效率。 数据倾斜产生的根本原因是少数Worker处理的数据量远远超过其他Worker处理的数据量，因此少数Worker的运行时长远远超过其他Worker的平均运行时长，导致整个任务运行时间超长，造成任务延迟。 数据倾斜的原因 当我们看任务进度长时间维持在99%（或100%），查看任务监控页面就会发现只有少量（1个或几个）reduce子任务未
1.0.1 sql优化 --count(distinct())效率优化实例
day_one
02-19 1625
如何提升自身sql效率，更快得到想要的数据，是每一个使用sql的同学都需要学习和关注的事情。 sql作为面向大众的数据提取工具，除了研发、数据分析师，产品经理及业务运营同学也都有应用需求。只要sql无语法错误，保持等待，或长或短都是可以输出结果的。但是在数据量庞大或数据逻辑复杂时，或碰上线上资源紧张，或者好不容易等了3小时、结果发现数据有点异常需要修改后重跑，不知道有没有同学有相同的经历。 低...
SQL优化：多个count(distinct)跑得慢如何优化？
weixin_45166330的博客
07-14 738
考虑去重字段数量1>2>3>42>3>4（此时方法1不适用）
解决大数据量的查询优化
weixin_30332241的博客
04-30 235
增加索引 分表 分库 主从分离（读写分离） 转载于:https://www.cnblogs.com/tanfuchao/p/8973585.html
同时有COUNT(DISTINCT)和GROUP BY的慢查询sql优化实例
went_m的专栏
04-04 1万+
项目中碰到一个慢查询，里面既有COUNT(DISTINCT)，又有GROUP BY，查询性能很差，26万条数据查询下来需要18秒，sql如下SELECT a.channel_code AS channelCode, a.channel_name AS channelName, DATE_FORMAT(a.create_date, '%Y') AS orderDate, COUNT(DIST...
大数据开发之spark篇----idea上使用sparksql对hive上的数据
03-16
可以使用SparkSQL在IDEA上对Hive上的数据进行操作和分析。首先需要在IDEA中添加Spark依赖，然后创建SparkSession对象连接到Hive，使用SparkSQL语句对Hive表进行查询和操作。具体步骤如下： 1. 在pom.xml文件中添加...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值