Hive Lateral View 使用指南

已于 2022-11-11 22:20:47 修改
阅读量3.8w 收藏 69
点赞数 18
分类专栏： Hive 文章标签： Hive Lateral View
于 2017-03-17 19:07:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SunnyYoona/article/details/62894761
版权

1. 语法

lateralView: LATERAL VIEW udtf(expression) tableAlias AS columnAlias (',' columnAlias)*
fromClause: FROM baseTable (lateralView)*

2. 描述

Lateral View一般与用户自定义表生成函数（如explode()）结合使用。 如内置表生成函数中所述，UDTF为每个输入行生成零个或多个输出行。 Lateral View 首先将UDTF应用于基表的每一行，然后将结果输出行连接到输入行，以形成具有提供的表别名的虚拟表。

在Hive 0.6.0之前，Lateral View 不支持谓词下推优化。 
在Hive 0.5.0和更早版本中，如果你使用WHERE子句，你的查询如果没有没有编译。
解决方法是在你查询之前添加
了解本专栏 订阅专栏 解锁全文 超级会员免费看
@SmartSi
关注
  • 18
    点赞
  • 踩
  • 69
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 3
    评论
专栏目录
订阅专栏
python 实现 hive中类似 lateral view explode的功能示例
09-16
主要介绍了python 实现 hive中类似 lateral view explode的功能示例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Hive权威指南
06-19
《Hive权威指南》是一本深入探讨Hive技术的书籍，专为大数据处理和分析而设计。Hive是建立在Hadoop生态系统上的一个数据仓库工具，它允许通过SQL-like语言（HQL）对大规模分布式数据集进行查询和管理。这本书为读者...
hive 的 lateral view用法以及注意事项
热门推荐
Zero小猿的博客
05-16 3万+
1. lateral view 简介   hive函数 lateral view 主要功能是将原本汇总在一条（行）的数据拆分成多条（行）成虚拟表，再与原表进行笛卡尔积，从而得到明细表。配合UDTF函数使用，一般情况下经常与explode函数搭配，explode的操作对象（列值）是 ARRAY 或者 MAP ,可以通过 split 函数将 String 类型的列值转成 ARRAY 来处理。 【语法格式】 select col_A,col_B,tmp_table.tmp_col from test_table
Hive Lateral View使用指南
阿拉修
10-18 1330
用户可以指定可选的OUTER关键字来生成行，即使LATERAL VIEW通常不会生成行。当所使用的UDTF不产生任何行时（使用explode()函数时，explode的列为空时，很容易发生上述这种情况）。如果想让源数据行继续出现在结果中，可以使用 OUTER可以用来阻止关键字，并且来自UDTF的列使用NULL值代替。如内置表生成函数中所述，UDTF为每个输入行生成零个或多个输出行。Lateral View 首先将UDTF应用于基表的每一行，然后将结果输出行连接到输入行，以形成具有提供的表别名的虚拟表。
FlinkSQL 中lateral table
最新发布
别这么骄傲
04-28 981
LATERAL TABLE 用于在查询中扩展表，并将表值函数的结果与查询的其余部分进行连接（LATERAL TABLE 可以用于将。使用LATERAL TABLE可以在查询中实现更复杂的逻辑，可以在SELECT子句中使用LATERAL TABLE关键字并调用表值函数，来查询所需要的列，得到的结果是：原表select查询的数据+LATERAL TABLE查询结果返回的数据，更加灵活。这是通过在查询的 FROM 子句中使用 LATERAL TABLE 关键字来实现的。作为参数，并返回一个包含地址信息的表。
Hive行转列拆分JSON案例1
Jamie's Blogs
09-19 1645
需求：现在有一些数据格式如下： a:shandong,b:beijing,c:hebei|1,2,3,4,5,6,7,8,9|[{"source":"7fresh","monthSales":4900,"userCount":1900,"score":"9.9"},{"source":"jd","monthSales":2090,"userCount":78981,"score":"9.8"},{...
8.Hive中Lateral View、视图、索引
m0_63953077的博客
05-03 584
.Hive中Lateral View、视图、索引
2023.11.16-hive sql高阶函数lateral view,与行转列,列转行
白白的wj的博客
11-15 4408
hive函数主要功能是将原本汇总在一条（行）的数据拆分成多条（行）成虚拟表，再与原表进行笛卡尔积，从而得到明细表。配合UDTF函数使用，一般情况下经常与explode函数搭配，explode的操作对象（列值）是ARRAY或者MAP,可以通过split函数将 String 类型的列值转成ARRAY来处理。
Hive详解之lateral view、视图和索引
lixinkuan的博客
10-06 1985
一、Hive Lateral View 语法： LATERAL VIEW udtf(expression) tableAlias AS columnAlias (',' columnAlias) 示例：统计人员表中共有多少种爱好、多少个城市? 查询01： select count(distinct(myCol1)), count(distinct(myCol2)) from ...
HIVE中文使用手册及用户指南
07-17
Hive是Apache Hadoop生态系统中的一个数据仓库工具，它允许用户使用SQL方言（称为HQL）来查询、管理和处理存储在Hadoop分布式文件系统（HDFS）中的大规模数据集。以下是对标题和描述中提到的四个文件内容的详细解读...
Hive Lateral View + explode 详解
大数据
04-28 1万+
hive中的函数分为3类,UDF函数、UDAF函数、UDTF函数 UDF：一进一出 UDAF:聚集函数，多进一出，类似于：count/max/min UDTF:一进多出,如explore()、posexplode()，UDTF函数的时候只允许一个字段 百度explode()时，经常会出现lateral view + explode相关的文章，很少单独写explode()。分别了解ecplode() 与lateral view的各自作用很重要，不然过程都不知道实现的，换个UDTF函数就不会使用了。 ..
Hive Lateral View
承缘丶
01-07 1443
https://cwiki.apache.org/confluence/display/Hive/LanguageManual+LateralView
hive 的函数 lateral view 用法详解
douluo998的博客
04-11 1362
hive函数 lateral view 主要功能是将原本汇总在一条（行）的数据拆分成多条（行）成虚拟表，再与原表进行笛卡尔积，从而得到明细表。配合UDTF函数使用，一般情况下经常与explode函数搭配，explode的操作对象（列值）是 ARRAY 或者 MAP ,可以通过 split 函数将 String 类型的列值转成 ARRAY 来处理。lateral view explode(split(col,'分隔符')) tmp_table as tmp_col。
Hive: lateral view 用法
m0_37135879的博客
12-16 924
lateral view 的语法格式 lateral view: LATERAL VIEW udtf (expression) tableAlias AS coluumAlias ( ‘,’ , columnAlias)* fromClause: FROM baseTable (lateralView)* 用法描述 lateral view 要与UDTF函数一起使用，比如 explode() 函数。这里的UDTF函数是指用户自定义的表生成函数（英文全称：user defined table-generati
Hive中lateral view的应用到源码解读
morsunlight的博客
01-20 2355
hive中lateral view的执行过程和explode的执行过程
hive中Lateral View使用指南
lehsyh的专栏
04-23 424
hive lateral view
hive-行列互转，posexplode、lateral view、concat、collect
DCHAO的博客
04-28 6419
行转列 正常数据以列分组，group by 后面跟的是列。行是数据，列是维度。 如果更换维度，使用拼接的列 一行的单元格原来是数据，现在跟其他单元格拼接成为分组依据， 先把单元格拼接起来，然后以拼接后的值为维度，拼接后的值就成了列 列转行 将一单元格中的数据拆分后分散为多行 .........
【hive】lateral view侧视图
atwdy的博客
04-14 1354
lateral view也叫侧视图，属于hive sql所特有的语法。用来实现类似标准sql中join的操作。join参与运算的往往是两个表，根据指定的关联字段进行横向连接。lateral view参与运算的是一张表，这张表里往往存在某个多值的字段，通过侧视图结合UDTF函数可以将这个多值字段拆分为粒度更小的值，每一个拆分出来的值都会作为新的字段和一条原记录进行拼接。类似于列转行操作，虽然严格意义上不算列转行，因为只是增加了行数，但并未减少列数，只是减少了列中所包含的字段个数。
hive LATERAL VIEW POSEXPLODE
05-31
Hive LATERAL VIEW POSEXPLODE函数用于将一个数组列展开为多行，每行包含数组中的一个元素和其在数组中的位置。它可以用于查询中，例如： ``` SELECT id, pos, word FROM my_table LATERAL VIEW POSEXPLODE(words) myTable AS pos, word; ``` 这将返回一个包含每个单词及其在数组中位置的行，这些值来自于my_table表中的words列。pos表示单词在数组中的位置，word表示单词的值。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

@SmartSi

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值