hive行转列,列转行函数使用说明

行转列

表名 ods.ods_user_from ,
字段 prov ,city

1、concat(字段a,’-’,字段b) ,concat函数参数有一个为NULL 返回 NULL

select  concat(prov,'-',city) from ods.ods_user_from 

在这里插入图片描述
2.collect_set(),collect_list(),可以根据字段A分组,获取字段B的数据列表,
collect_list()返回字段B全部数据,collect_set()返回字段B去重后的数据,它们返回的是 array 格式。

select prov,collect_list(city) from ods.ods_user_from group by prov  limit 100;

在这里插入图片描述

3.concat_ws(‘分隔符’,字段A,字段B,字段C) , 或者
concat_ws(‘分隔符’,collect_set(字段B)) (这个形式是将数组转为字符串格式) ,返回 String 格式,如果分隔符为 NULL,则结果为 NULL

select  prov ,concat_ws(':',collect_set(city)) list01
    from (
          select  city,prov
          from ods.ods_user_from
          limit 1000 )a
    group by  prov

在这里插入图片描述

列换行

(1)explode() 参数类型是 array 或者 map ,
(2)split(字段B,‘分割符’) 返回一个 array-数组 类型。
(3)lateral view , lateral view是Hive中提供给UDTF的结合,它可以解决UDTF不能添加额外的 select列的问题,lateral view其实就是用来和想类似explode这种UDTF函数联用的,lateral view会将UDTF生成的结果放到一个虚拟表中,然后这个虚拟表会和原表输入行进行join(当然这个join 是虚拟的,不用我们写出来)来达到连接UDTF外的select字段的目的。 UDTF(一进多出)。

格式一:

lateral view udtf(expression) tableAlias as columnAlias (,columnAlias)*

lateral view在UDTF前使用,表示连接UDTF所分裂的字段。

UDTF(expression):使用的UDTF函数,例如explode()。

tableAlias:表示UDTF函数转换的虚拟表的名称。

columnAlias:表示虚拟表的虚拟字段名称,如果分裂之后有一个列,则写一个即可;如果分裂之后有多个列,按照列的顺序在括号中声明所有虚拟列名,以逗号隔开。
格式二:

from basetable (lateral view)*

在from子句中使用,一般和格式一搭配使用,这个格式只是说明了lateral view的使用位置。
from子句后面也可以跟多个lateral view语句,使用空格间隔就可以了。
举例使用:在 3 的结果上

select prov,city
from (
    select  prov ,concat_ws(':',collect_set(city)) list01
    from (
          select  city,prov
          from ods.ods_user_from
          limit 1000 )a
    group by  prov
  ) a
LATERAL VIEW explode( split(a.list01,':'))  city_table as  city;

在这里插入图片描述

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hive中的行转列列转行可以通过使用函数EXPLODE和LATERAL VIEW来实现。函数EXPLODE(col)用于将Hive的一列中复杂的数组或者Map结构拆分成多行。LATERAL VIEW是用于和split、explode等函数一起使用的,可以将一列展开成多列或将多列合并成一列。 举个例子来说明,假设我们有一个表person_info,其中包含name、constellation和blood_type三列。要将表中的name列中的值拆分成多行,可以使用LATERAL VIEW和EXPLODE函数,具体的语句如下: SELECT t1.base, concat_ws('|', collect_set(t1.name)) name FROM (SELECT name, concat(constellation, ",", blood_type) base FROM person_info) t1 GROUP BY t1.base; 在上述查询中,通过LATERAL VIEW和EXPLODE函数,将name列拆分成多行,然后使用concat_ws函数将拼接后的结果作为新的name列。最后,通过GROUP BY对base列进行分组。这样就实现了Hive中的行转列操作。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [hive列转行案例](https://download.csdn.net/download/weixin_38581777/14037437)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* *3* [hive操作(行转列列转行)](https://blog.csdn.net/aiduo3346/article/details/102085019)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值