1. group by和count(distinct)的区别
首先,Hive的group by和count(distinct)都是去除重复的数据,某种程度上来说,两者产生的结果是一样的。
可以一同使用 DISTINCT 和 COUNT 关键词,来计算非重复结果的数目。
实例代码:
select a,count(distinct b) from t group by a
select tt.a,count(tt.b) from (select a,b from t group by a,b)tt group by tt.a
上面两句代码产生的结果是一样的,但是两者从效率和空间复杂度上来讲,是有很大的差别的。
distinct会将b列所有的数据保存到内存中,形成一个类似hash的结构,速度是十分的快;但是在大数据背景下,因为b列所有的值都会形成以key值,极有可能发生OOM。
group by会先把b列的值进行排序,如果以快速派序来说的话,他的空间复杂度就是O(1),时间复杂度是O(nlogn),这样在大数据的环境下,只有排序阶段会比较慢,时间复杂度是O(nlogn)。
两者比较来说,distinct 耗费内存,但是效率极高,但是数据较大时,可能会产生OOM;group by如果在时间复杂度允许的情况下,可以展现出突出的空间复杂度的优势。
最后,对于Hive来说,含有distinct的HQL语句,如果遇到瓶颈,想要调优,第一时间都是想到用group by来替换distinct来实现对数据的去重。
2. hive的基本架构
Hive的体系结构可以分为以下几部分
(1) 用户接口主要有三个:CLI,Client 和 WUI。其中最常用的是CLI,Cli启动的时候,会同时启动一个Hive副本。Client是Hive的客户端,用户连接至Hive Server。在启动 Client模式的时候,需要指出Hive Server所在节点,并且在该节点启动Hive Server。 WUI是通过浏览器访问Hive。
(2)Hive将元数据存储在数据库中,如mysql、derby。Hive中的元数据包括表的名字,表的列和分区及其属性,表的属性(是否为外部表等