Hive Sql - Multi Distinct（多个distinct在同一个query中）优化

最新推荐文章于 2021-06-29 16:16:23 发布

阿武z

最新推荐文章于 2021-06-29 16:16:23 发布

阅读量2.1k

点赞数 3

分类专栏： Hive

本文链接：https://blog.csdn.net/xw514124202/article/details/104368029

版权

本文探讨了在Hive SQL中遇到多个distinct操作导致的数据倾斜问题及其优化策略。建议使用spark-sql的approx_count_distinct函数进行基数估算，或者调整SQL语句结构，先进行数据去重，再对特定字段进行聚合和distinct操作，以提高查询效率。

摘要由CSDN通过智能技术生成

背景

当多个 distinct 操作同时出现在 select 中，数据会分发多次。容易造成Reduce数据倾斜

优化点

1、如果不要求精确值，可以使用 spark-sql approx_count_distinct函数（基数计数 hyperloglog）

2、修改SQL

基础数据准备如下， 需要计算 不同渠道下的 不同周期 的访问uv

presto:bi> desc tmp.multi_distinct_test;
 Column  |  Type   | Extra | Comment  
---------+---------+-------+----------
 user_id | bigint  |       | 用户ID   
 channel | varchar |       | 渠道名称 
 day     | varchar |       | 访问日期 

presto:bi> select * from tmp.multi_distinct_test;
 user_id | channel |    day     
---------+---------+------------
       1 | A       | 2020-01-01 -- 和下一行 数据一模一样
       1 | A       | 2020-01-01 -- 👆
       1