HiveSQL高频面试题

最新推荐文章于 2024-09-28 23:07:40 发布

wespten

最新推荐文章于 2024-09-28 23:07:40 发布

阅读量62

点赞数

分类专栏： Hadoop Hive Spark 大数据安全文章标签：面试职场和发展

本文链接：https://blog.csdn.net/qq_35029061/article/details/139565444

版权

Hadoop Hive Spark 大数据安全专栏收录该内容

130 篇文章 39 订阅 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

本文主要探讨了HiveSQL在面试中的常见问题，包括场景应用如教育背景学生成绩分析，以及分组TOPN、WHERE与HAVING的区别、数据倾斜处理、分区表优化等。此外，还列举了多个面试题目，如访问量统计、电商TopK、订单量统计、大数据排序、活跃用户统计、购买金额统计等，涵盖了日志分析、统计计算和业务场景应用等多个方面。

摘要由CSDN通过智能技术生成

1、场景举例.教育背景学生成绩分析

成绩的数据格式：时间,学校,年纪,姓名,科目,成绩

样例数据如下

2013,北大,1,裘容絮,语文,97
2013,北大,1,庆眠拔,语文,52
2013,北大,1,乌洒筹,语文,85
2012,清华,0,钦尧,英语,61
2015,北理工,3,冼殿,物理,81
2016,北科,4,况飘索,化学,92
2014,北航,2,孔须,数学,70
2012,清华,0,王脊,英语,59
2014,北航,2,方部盾,数学,49
2014,北航,2,东门雹,数学,77

问题：

1. 情景题：分组TOPN

# 1.分组TOPN选出 今年每个学校,每个年级,分数前三的科目. 
hive -e "
set mapreduce.job.queuename=low; 
select t.*
from
(
select 
    school, 
    class,
    subjects, 
    score, 
    row_number() over (partition by school,class,subjects order by score desc) rank_code
from spark_test_wx where partition_id = "2017"
) t 
where t.rank_code <= 3; 
"