Hive 行转列、列转行的应用场景和解决方案

一、行转列

1.相关函数

  • CONCAT(string A/col, string B/col…)
    • 返回输入字符串连接后的结果,支持任意个输入字符串;
  • CONCAT_WS(separator, str1, str2,...)
    • 它是一个特殊形式的 CONCAT()。
    • 第一个参数剩余参数间的分隔符。分隔符可以是与剩余参数一样的字符串。
    • 如果分隔符是 NULL,返回值也将为 NULL。
    • 这个函数会跳过分隔符参数后的任何 NULL 和空字符串。分隔符将被加到被连接的字符串之间;
    • 注意: CONCAT_WS must be "string or array<string>"
  • COLLECT_SET(col)
    • 函数只接受基本数据类型
    • 它的主要作用是将某字段的值进行去重汇总,产生 Array 类型字段。
  • COLLECT_LIST(col)
    • 函数只接受基本数据类型
    • 它的主要作用是将某字段的值汇总(可以有重复),产生 Array 类型字段。

2.数据准备

现有表及数据类型:person_info(name string, constellation string, blood_type string)

nameconstellationblood_type
悟空白羊座A
大海射手座A
小宋白羊座B
八戒白羊座A
凤姐射手座A
苍苍白羊座B

3.需求及实现

把星座和血型一样的人归类到一起,结果如下:

射手座,A 大海|凤姐
白羊座,A 悟空|八戒
白羊座,B 小宋|苍苍

实现:

SELECT
	t1.c_b,
	CONCAT_WS("|",collect_set(t1.name))
FROM (
	SELECT
		name,
		CONCAT_WS(',',constellation,blood_type) c_b
	FROM person_info
)t1
GROUP BY t1.c_b

二、列转行

1.函数说明

  • EXPLODE(col)
    • 将 hive 一列中复杂的 Array 或者 Map 结构拆分成多行。
  • LATERAL VIEW
    • 用法:LATERAL VIEW udtf(expression) tableAlias AS columnAlias
    • 解释:用于和 split, explode 等 UDTF 一起使用,它能够将一列数据拆成多行数据,在此基础上可以对拆分后的数据进行聚合。
    • 更详细的可移步看:Lateral View 与 explode() 结合使用

2.数据准备

有数据表及类型:movie_info(movie string,category string)

moviecategory
《疑犯追踪》悬疑,动作,科幻,剧情
《Lie to me》悬疑,警匪,动作,心理,剧情
《战狼 2》战争,动作,灾难

3.需求及实现

将电影分类中的数组数据展开。结果如下:

《疑犯追踪》 		悬疑
《疑犯追踪》 		动作
《疑犯追踪》 		科幻
《疑犯追踪》 		剧情
《Lie to me》 	悬疑
《Lie to me》 	警匪
《Lie to me》 	动作
《Lie to me》 	心理
《Lie to me》 	剧情
《战狼 2》 		战争
《战狼 2》 		动作
《战狼 2》 		灾难

实现:

SELECT
	movie,
	category_name
FROM movie_info
lateral view explode(split(category,",")) movie_info_tmp AS category_name;
  • 1
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hive中的行转列列转行可以通过使用函数EXPLODE和LATERAL VIEW来实现。函数EXPLODE(col)用于将Hive的一列中复杂的数组或者Map结构拆分成多行。LATERAL VIEW是用于和split、explode等函数一起使用的,可以将一列展开成多列或将多列合并成一列。 举个例子来说明,假设我们有一个表person_info,其中包含name、constellation和blood_type三列。要将表中的name列中的值拆分成多行,可以使用LATERAL VIEW和EXPLODE函数,具体的语句如下: SELECT t1.base, concat_ws('|', collect_set(t1.name)) name FROM (SELECT name, concat(constellation, ",", blood_type) base FROM person_info) t1 GROUP BY t1.base; 在上述查询中,通过LATERAL VIEW和EXPLODE函数,将name列拆分成多行,然后使用concat_ws函数将拼接后的结果作为新的name列。最后,通过GROUP BY对base列进行分组。这样就实现了Hive中的行转列操作。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [hive列转行案例](https://download.csdn.net/download/weixin_38581777/14037437)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* *3* [hive操作(行转列列转行)](https://blog.csdn.net/aiduo3346/article/details/102085019)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值