Hive里使用SQL语句创建复杂数据类型

本文详细介绍了如何在Hive中使用SQL创建和操作Map、Struct、Array和嵌套Array[Struct]数据类型,包括各自的函数和示例。通过实例展示如何利用collect_set配合groupby实现动态数组生成。
摘要由CSDN通过智能技术生成

前言

在Hive使用过程中,有时需要通过sql语句来创建复杂数据类型,例如ARRAY、MAP、STRUCT等,甚至还有嵌套的复杂数据类型例如ARRAY[STRUCT],有必要了解一下sql语句中复杂数据类型的创建。

一、Map类型的创建

函数名称函数参数函数说明
map(key1,value1,key2,value2,…)创建了一个map结构数据,函数参数依次是它的key和value

二、Struct类型的创建

有两种方式,如下表:

函数名称函数参数函数说明
struct(val1,val2,val3,…)创建了一个struct数据字段,它里面的字段的名称依次为col1,col2,col3…,它的值依次为val1,val2,val3
named_struct(name1,val1,name2,val2,…)创建了一个struct字段,函数中的参数依次为key和value

三、Array类型的创建

函数名称函数参数函数说明
array(val1,val2,val3,…)创建了一个array结构数据,里面的数据依次是val1,val2,val3…

在实际操作中可以使用collect_set+group by的方式生成一个array,如下图:
在这里插入图片描述
sql语句:select username, collect_set(video_name) from t_visit_video group by username;
结果如下:
在这里插入图片描述

四、Array[Struct]类型的创建

代码如下:

	select
        sku_id,
        collect_set(named_struct('sale_attr_id',sale_attr_id,'sale_attr_value_id',sale_attr_value_id,'sale_attr_name',sale_attr_name,'sale_attr_value_name',sale_attr_value_name)) sale_attrs
    from ods_sku_sale_attr_value_full
    group by sku_id

先把一行里的数据转换成一个struct再group by使用collect_set,生成了一个array[struct]

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值