with 扩展
其实前面我们已经讲过这个语法了,你可以参考Hive语法之with as和from,那为什么我们今天还要拿出来讲一次呢。我们总结一下这个语法的特点:
- with…as也叫做子查询部分,该语句允许hive定义一个SQL片段,供整个SQL 使用,有点类似变量或者视图可以简化我们的SQL,尤其我们多次使用的场景
- 除了简化我们的SQL,而且还会将这个片段产生的结果集保存在内存中,后续的SQL均可以访问这个结果集,左右有点像物化视图或者是临时表,从而提高我们的查询性能。
这里提到了一个概念物化视图,你可以参考我们前面的文章. Hive视图和物化视图,需要注意的事在高版本的SQL中,with语句进行了物化,但是默认是不开启的,这个参数为hive.optimize.cte.materialize.threshold
该参数默认情况下是-1,是关闭的,当开启(大于0),比如设置为2,则如果with…as语句被引用2次及以上时,会把with…as语句生成的table物化,从而