Hive的底层结构如下:
1.driver为中心,hql语句经过compiler编译后获取metadata
2.将获取的metadata发送回driver
3.driver根据获取的metadata和hql解析成查询树,做出查询plan,优化计划
4.转化为MapReduce模板
5.获取job执行后的数据
二.hql与SQL的不同点:
1.多表联合的格式:hql只能使用join .... on... ,以on来判断表连接的条件,SQL还可以使用where来判断
2.hive 在使用where语句时,不能使用in函数。
3.hive 排序时order 或者 sort by col1 ,其中col1 需要select col1 ,....coln 中,如果不存在将会报错。
4.hive可以使用UDF ,这个是hive的自定义函数,这个function使用,需继承UDF类,重写excute方法。
三.order与sort的不同:
使用order by会引发全局排序
select * from baidu_click order by click desc; |
使用distribute和sort进行分组排序
select * from baidu_click distribute by product_line sort by click desc; |
distribute by + sort by就是该替代方案,被distribute by设定的字段为KEY,数据会被HASH分发到不同的reducer机器上,然后sort by会对同一个reducer机器上的每组数据进行局部排序。