Hive 中的explode , lateral view,lateral view stack

已于 2023-07-21 16:47:26 修改
阅读量279 收藏
点赞数
分类专栏： 大数据 # HIve 文章标签： hive 大数据 hadoop
于 2023-04-21 15:49:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lzhcoder/article/details/130289461
版权

目录

explode 和 lateral view

explode用法

lateral view

lateral view outer

lateral view 的实现原理是什么

lateral view 中where 的使用

lateral view stack 的用法示例

总结

相关文章

explode 和 lateral view

为什么把这连个放一块呢，因为这两个经常放在一起用啊

explode与lateral view在关系型数据库中本身是不该出现的，因为他的出现本身就是在操作不满足第一范式的数据（每个属性都不可再分），本身已经违背了数据库的设计原理（不论是业务系统还是数据仓库系统），不过大数据技术普及后，很多类似pv，uv的数据，在业务系统中是存贮在非关系型数据库中，用json存储的概率比较大，直接导入hive为基础的数仓系统中，就需要经过ETL过程解析这类数据，explode与lateral view在这种场景下大显身手。

explode用法

在介绍如何处理之前，我们先来了解下Hive内置的 explode 函数，官方的解释是：explode() takes in an array (or a map) as an input and outputs the elements of the array (map) as separate rows. UDTFs can be used in the SELECT expression list and as a part of LATERAL VIEW. 意思就是 explode() 接收一个 array 或 map 类型的数据作为输入，然后将 array 或 map 里面的元素按照每行的形式输出。其可以配合 LATERAL VIEW 一起使用。光看文字描述很不直观，咱们来看看几个例子吧。

hive (default
了解本专栏 订阅专栏 解锁全文 超级会员免费看
数据与算法架构提升之路
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Hive学习之Lateral View
skyWalker_ONLY
09-15 6653
Lateral view与UDTF函数如explode()一起使用，UDTF对每个输入行产生0或者多个输出行。Lateral view首先在基表的每个输入行应用UDTF，然后连接结果输出行与输入行组成拥有指定表别名的虚拟表。Lateralview的语法如下： LateralView: LATERAL VIEW udtf(expression) tableAlias AS columnAlia
hive表生成函数explode、stack、lateral view和json_tuple、parse_url_tuple示例
helloxiaozhe的博客
11-08 2715
hive表生成函数explode、stack、lateral view和json_tuple、parse_url_tuple示例
Lateral View
03-13 6218
语法定义： lateralView: LATERAL VIEW udtf(expression) table AS columns(',', columns)* fromClause: FROM baseTable (lateralView)* 描述： Lateral view 通常和split， explode等udtf一起封装使用，它能够将一行数据拆分成多行数据，在此基础上可以对拆分后
Spark SQL中列转行（UNPIVOT）的两种方法
weixin_30399055的博客
01-23 520
行列之间的互相转换是ETL中的常见需求，在Spark SQL中，行转列有内建的PIVOT函数可用，没什么特别之处。而列转行要稍微麻烦点。本文整理了2种可行的列转行方法，供参考。 本文链接：https://www.cnblogs.com/hhelibeb/p/10310369.html 测试数据准备 本文的环境是Windows 10, Spark 2.4，开发语言是Python。首先构建...
Hive函数说明
chanyue123的博客
01-12 1984
官网地址： https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF 下面列举几个有意思的函数 1. stack(int r,T1 V1,...,Tn/r Vn) Breaks up n values V1,...,Vn into r rows. Each row will have n/r columns. r must be constant. 是一个udtf函数。即分解n个值V1…Vn转化成r行。每一行将有n/r列（向上
python 实现 hive中类似 lateral view explode的功能示例
09-16
主要介绍了python 实现 hive中类似 lateral view explode的功能示例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Python pandas 列转行操作详解(类似hive中explode方法)
09-16
主要介绍了Python pandas 列转行操作详解(类似hive中explode方法)，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
09.hive内置函数--表生成函数--行转列explode--lateral-view.mp4
04-29
09.hive内置函数--表生成函数--行转列explode--lateral-view.mp4
源码复盘 你真的了解Lateral View explode吗.docx
11-12
Lateral View Explode 是 Hive 中的一种功能强大的函数，它可以将一个数组或结构体类型的数据展开成多行，以便于更好地处理数据仓库中的数据。然而，很多人可能并不了解 Lateral View Explode 的实现机理和应用场景...
hive 的 lateral view用法以及注意事项
Zero小猿的博客
05-16 3万+
1. lateral view 简介   hive函数 lateral view 主要功能是将原本汇总在一条（行）的数据拆分成多条（行）成虚拟表，再与原表进行笛卡尔积，从而得到明细表。配合UDTF函数使用，一般情况下经常与explode函数搭配，explode的操作对象（列值）是 ARRAY 或者 MAP ,可以通过 split 函数将 String 类型的列值转成 ARRAY 来处理。 【语法格式】 select col_A,col_B,tmp_table.tmp_col from test_table
hive lateral view 与 explode详解
热门推荐
bitcarmanlee的博客
07-16 17万+
1.explodehive wiki对于expolde的解释如下：explode() takes in an array (or a map) as an input and outputs the elements of the array (map) as separate rows. UDTFs can be used in the SELECT expression list and as
Hive建表（三）侧视图(Lateral View)
zp17834994071的博客
06-12 2859
视图概述 1.通过隐藏子查询、连接和函数来简化查询的逻辑结构 2.产生虚拟表，从真实表中选取数据 3.只保存定义，不存储数据 4.如果删除或更改基础表，则查询视图将失败 5.视图是只读的，不能插入或装载数据 应用场景 1.将特定的列提供给用户，保护数据隐私 2.查询语句复杂的场景 侧视图与用户定义的表生成函数（如explode()）关联使用。如表生成函数所述，UDTF为每个输入行生成零个或多个输入行。侧视图首先将UDTF应用于基表的每一行，然后将它们的结果输出行连接到输入行，以形成拥有提供表别名的虚拟表。
Hive Lateral view介绍
youziguo的专栏
09-30 2万+
1）. Lateral View语法 lateralView: LATERAL VIEW udtf(expression) tableAlias AS columnAlias (',' columnAlias)* fromClause: FROM baseTable (la
hive中的lateral view 与 explode函数的使用
guodong2k的博客
03-06 13万+
explode与lateral view在关系型数据库中本身是不该出现的，因为他的出现本身就是在操作不满足第一范式的数据（每个属性都不可再分），本身已经违背了数据库的设计原理（不论是业务系统还是数据仓库系统），不过大数据技术普及后，很多类似pv，uv的数据，在业务系统中是存贮在非关系型数据库中，用json存储的概率比较大，直接导入hive为基础的数仓系统中，就需要经过ETL过程解析这类数据，exp...
hive中的lateral view 用法详解上篇
AnneQiQi的博客
05-17 4050
描述 lateral view用于和split, explode等UDTF一起使用，它能够将一行数据拆成多行数据，在此基础上可以对拆分后的数据进行聚合。lateral view首先为原始表的每行调用UDTF，UDTF会把一行拆分成一或者多行，lateral view再把结果组合，产生一个支持别名表的虚拟表。 通过Lateral view可以方便的将UDTF得到的行转列的结果集合在一起提
hive中的lateral view 用法详解下篇
AnneQiQi的博客
05-17 2625
例子 假设我们有一张表pageAds，它有两列数据，第一列是pageid string，第二列是adid_list，即用逗号分隔的广告ID集合： string pageid Array adid_list "front_page" [1, 2, 3] "contact_page" [3, 4, 5]
hive中的Lateral View
东杰书屋
07-02 1万+
通过Lateral view可以方便的将UDTF得到的行转列的结果集合在一起提供服务。 因为直接在SELECT使用UDTF会存在限制，即仅仅能包含单个字段，如下： hive> select my_test(“abcef:aa”) as qq,my_test(“abcef:aa”) as ww from sunwg01; FAILED: Error in semantic analysis
Hive Lateral View 使用指南
SmartSi
03-17 3万+
1. 语法lateralView: LATERAL VIEW udtf(expression) tableAlias AS columnAlias (',' columnAlias)* fromClause: FROM baseTable (lateralView)*2. 描述Lateral View一般与用户自定义表生成函数（如explode()）结合使用。 如内置表生成函数中所述，UDTF为每
Hive lateral view使用示范
BabyFish13
01-02 1713
lateral view用于和split、explode等UDTF一起使用的，能将一行数据拆分成多行数据；在此基础上可以对拆分的数据进行聚合，lateral view首先为原始表的每行调用UDTF，UDTF会把一行拆分成一行或者多行，lateral view再把结果组合，产生一个支持别名表的虚拟表。 1、单个LATERAL VIEW 表及数据准备： drop table if exists
hive中lateral view explode
最新发布
03-16
在Hive中，lateral view explode是一种用于将数组或Map类型的列展开为多行的查询操作。它可以将数组或Map类型的列中的每个元素或键值对展开为一行，并将其与原始行的其他列一起返回。这种操作通常用于在Hive中处理复杂的数据结构，例如JSON或XML格式的数据。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

数据与算法架构提升之路

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值