Hive学习之Lateral View

最新推荐文章于 2024-07-07 09:46:26 发布

skyWalker_ONLY

最新推荐文章于 2024-07-07 09:46:26 发布

阅读量6.6k

点赞数

分类专栏： Hive 勤奋的Hive 文章标签： Hive LATERAL VIEW UDTF

勤奋的Hive 同时被 2 个专栏收录

33 篇文章 17 订阅 ¥9.90 ¥99.00

订阅专栏

Hive

32 篇文章 31 订阅 ¥9.90 ¥99.00

订阅专栏

本文介绍了Hive中的Lateral View与UDTF配合使用的方法，讲解了Lateral View的语法和作用，以及在不同Hive版本中的优化情况。通过示例展示了如何使用Lateral View和explode()函数将数组展开为多行，并进行统计分析。同时，文章还探讨了多个LATERAL VIEW子句的组合使用，以及OUTER LATERAL VIEW在处理空输入时的差异。

摘要由CSDN通过智能技术生成

Lateral view与UDTF函数如explode()一起使用，UDTF对每个输入行产生0或者多个输出行。Lateral view首先在基表的每个输入行应用UDTF，然后连接结果输出行与输入行组成拥有指定表别名的虚拟表。Lateralview的语法如下：

LateralView: LATERAL VIEW udtf(expression) tableAlias AS columnAlias (',' columnAlias)*
fromClause: FROM baseTable (lateralView)*

在Hive-0.6.0之前，Lateral view不支持谓词下推优化，在Hive-0.5.0或者更早的版本中，如果查询中使用了WHERE子句，可能不会被编译，一个措施是在查询前将参数hive.optimize.ppd设置为false。在Hive-0.6.0中修复了该问题，UDTF不支持谓词下推。从Hive-0.12.0开始，可以省略列别名，在这种情况下，别名从UDTF返回的StructObjectInspector的域名继承而来。

下面通过例子来更好地理解Lateral view。假设存在下面的基表pageAds，该表有两列pageid（page的名称）和adid_list(page上出现的广告的数组)：

了解本专栏