普及一个术语:谓词下推
谓词下推是一种自动优化规则,如果养成好的查询习惯你其实并不需要hive自动去帮你谓词下推。
因为优化器的规则经常变,记住规则比较难,养成好的查询习惯比较简单。
如果没有听说过这个术语,没关系,很有可能的是你已经养成了好的查询习惯,根本不需要hive帮你优化,但还是了解一下好。
谓词下推
Predicate Pushdown(PPD)
:简而言之,就是在不影响结果的情况下,尽量将过滤条件提前执行。谓词下推后,过滤条件在map端执行,减少了map端的输出,降低了数据在集群上传输的量,节约了集群的资源,也提升了任务的性能。——《Hive中的Predicate Pushdown Rules(谓词下推规则)》
所以,如果我们能够做到,先过滤,再join,先筛选出有用的数据,再进行其他操作,我们其实不需要知道“谓词下推”这个术语。
但是,知道它,可以避免一些失误。同时,可以拓宽自己的知识面。
所谓hive中的谓词下推指的是:
hive中join操作:如果直接两个表进行join,在最后再进行两个表的where条件过滤,这样的话实际上hive会将两个表先join起来,最后join出来的大表再进行where筛选,这样的话导致了全表join并且效率低下:
如下:
select a.id,a.value1,b.value2 from table1 a
left outer join table2 b on a.id=b.id
where b.ds>='20181201' and b.ds<'20190101'
and a.ds>='20181201' and a.ds<'20190101'
效率很低并且占用集群性能!!
但是我们在hive的join查询的时候,先将每个表的数据进行筛选,筛选完了之后的数据在进行join这样,join两端的表数据量就相对变得很少了,提升了效率,也比变了占用更多的集群资源。
采取的方式是:
select a.id,a.value1,b.value2 from
(select * from table1 ss where ss.ds>='20181201' and ss.ds<'20190101' ) a
left outer join
(select * from table2 ss where ss.ds>='20181201' and ss.ds<'20190101' ) b
on a.id=b.id
参考: