超级会员免费看
本文深入探讨了Hive的内部表与外部表区别、数据倾斜解决方案，以及分区的重要性和作用。同时，通过SQL考核题展示了Hive的复杂查询技巧。此外，还介绍了Spark的累加器、广播变量以及核心执行流程，最后讲解了SparkSQL的底层执行原理，帮助理解大数据处理的内在机制。
1、请你谈谈Hive内部表和外部表的区别
答：内部表是由Hive自身管理，外部表数据佑HDFS管理，删除内部表会直接删除元数据及存储数
据，删除外部表仅仅会删除元数据，HDFS上的文件并不会被删除。
2、请你谈谈数据倾斜解决方法
答 ：如果是join引起的数据倾斜的话 由于key值为空或为异常记录 就随机给key赋一个值如果是一个大表和一个小表join的话可以考虑mapjoin避免数据倾斜，如果是group by 引起的数据倾斜的话 开启map之后使用combiner。
3、谈谈你对分区的理解
答：为了对表进行合理的管理以及提高查询效率，所以进行分区。这样查找数据就不需要进行
全表扫描了，提高了查询效率。
4、SQL考核1
表a有三个变量，分别是id、staytime、day
|
id
|
staytime
|
订阅专栏 解锁全文
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
