Hive:select count(distinct)优化以及hive.groupby.skewindata

本文主要探讨了Hive中遇到的数据倾斜问题,特别是在执行`select count(distinct)`查询时。通过分析Hive的MapReduce执行流程,揭示了数据倾斜的原因在于Group By字段导致的数据不均匀分布。提出了通过设置`hive.groupby.skewindata=true`参数,将查询分为两个阶段,实现数据去重和局部聚合,从而优化性能。此外,还讨论了如何手动优化多列`count(distinct)`的场景,通过分治思想分别计算后再合并结果,有效提升查询效率。
摘要由CSDN通过智能技术生成

问题引入

数据分析师小A接到需求,需要统计当日各个省份20岁以下的日活跃用户数(去重统计user_id,即UV)

现有一个Hive表存储着用户行为数据

Hive表:user_behaviour_trace_info 
描述
user_id 用户id
nickname 昵称
age 年龄
province 省份
url 访问地址
access_time 访问时间
device_id 用户手机设备id

小A很顺其自然的写出这段SQL:

select
  province,
  count(distinct user_id) as uv
from
  user_behaviour_trace_info
where
  access_time = '今天' and age < 20
group by
  province

立马提交SQL开始执行任务,一顿操作猛如虎,一看时长十点五(小时)

心想不愧是用户行为数据,数据量居然这么大?那让我们看看任务各个Task的执行耗时:

以下三个JobHistory截图属于另一个select count(distinct)数据倾斜任务,具有代表意义

JobHistory

我们可以观察到

  • 任务整体耗时:10小时11分钟
  • Map Task 平均耗时:1分16秒
  • Reduce Task 平均耗时:1分59秒

任务执行时间长,MR Task 平均耗时短,极有可能是出现了数据倾斜!

那我们继续看看Map Task的执行情况,按Map Task耗时倒序排序

Map阶段

Map Task最长耗时为2分49秒,而且整体看起来运行耗时相差不大,问题不在Map阶段

接下来看看Reduce阶段,按Reduce Task耗时倒序排序

  • 20
    点赞
  • 43
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值