Hive知识之行列转换

本文介绍了Hive中如何进行行转列和列转行操作。对于行转列,通过lateral view配合explode及split函数,将一行数据拆分成多行;而列转行则利用concat_ws和collect_set,将列数据合并为一行。示例中展示了从student表进行转换的具体步骤。
摘要由CSDN通过智能技术生成

1、行转列

假设有如下 student 表:

表1

class name
1001 ‘mike’, ‘lucy’,‘peter’
1002 ‘james’,‘david’

希望得到如下结果:

表2

class name
1001 mike
1001 lucy
1001 peter
1002 james
1002 david

此类场景就属于行转列的问题,可以使用 lateral view explode来求解:

  • lateral view用于和split、explode等UDTF一起使用,能将一行数据拆分成多行数据,在此基础上可以对拆分的数据进行聚合。
  • lateral view首先为原始表的每行调用UDTF,UDTF会把一行拆分成一行或者多行,lateral view再把结果组合,产生一个支持别名表的虚拟表。

对于以上例子,可以这么实现:

  • 首先使用split()函数对name字段进行分割,得到由名字组成的列表。
  • 使用 lateral view explode 将一行数据拆成多行。
  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值