Hive总结

Hive的底层结构如下：

  

1.driver为中心，hql语句经过compiler编译后获取metadata

2.将获取的metadata发送回driver

3.driver根据获取的metadata和hql解析成查询树，做出查询plan，优化计划

4.转化为MapReduce模板

5.获取job执行后的数据

二.hql与SQL的不同点：

   1.多表联合的格式：hql只能使用join .... on... ,以on来判断表连接的条件，SQL还可以使用where来判断

   2.hive 在使用where语句时，不能使用in函数。

   3.hive 排序时order 或者 sort by col1 ，其中col1 需要select col1 ，....coln 中，如果不存在将会报错。

    4.hive可以使用UDF ，这个是hive的自定义函数，这个function使用，需继承UDF类，重写excute方法。

三.order与sort的不同：

  

使用order by会引发全局排序

select * from baidu_click order by click desc;

使用distribute和sort进行分组排序

select * from baidu_click distribute by product_line sort by click desc;

distribute by + sort by就是该替代方案，被distribute by设定的字段为KEY，数据会被HASH分发到不同的reducer机器上，然后sort by会对同一个reducer机器上的每组数据进行局部排序。