【大数据】Hive系列之- Hive-业务最常用的行转列CONCAT/列转行EXPLODE用法详解

行转列

相关函数说明

CONCAT(string A/col, string B/col…)：返回输入字符串连接后的结果，支持任意个输入字符串;

CONCAT_WS(separator, str1, str2,…)：它是一个特殊形式的 CONCAT()。第一个参数剩余参 数间的分隔符。分隔符可以是与剩余参数一样的字符串。如果分隔符是 NULL，返回值也将 为 NULL。这个函数会跳过分隔符参数后的任何 NULL 和空字符串。分隔符将被加到被连接 的字符串之间;

注意: CONCAT_WS must be "string or array

COLLECT_SET(col)：函数只接受基本数据类型，它的主要作用是将某字段的值进行去重 汇总，产生 Array类型字段。

数据准备

name	constellation	blood_type
张三	白羊座	A
李四	处女座	B
王五	金牛座	A
朱六	白羊座	B
陈七	金牛座	A
许八	白羊座	A

需求

把星座和血型一样的人归类到一起。结果如下：

白羊座,A 	张三|许八
处女座,B		李四
白羊座,B		朱六
金牛座,A		王五|陈七

创建 hive 表并导入数据

hive (default)> create table person_info( name string, constellation string, blood_type string)
row format delimited fields terminated by "\t";

hive (default)> load data local inpath "/data/person_info.txt" into table person_info;

按需求查询数据

hive (default)> SELECT
t1.c_b, CONCAT_WS("|",collect_set(t1.name))
FROM (
	SELECT
	NAME,
	CONCAT_WS(',', constellation, blood_type) c_b FROM person_info
) t1
GROUP BY t1.c_b

列转行

函数说明

EXPLODE(col)：将 hive 一列中复杂的 Array 或者 Map 结构拆分成多行。

LATERAL VIEW
用法：LATERAL VIEW udtf(expression) tableAlias AS columnAlias
解释：用于和 split, explode 等 UDTF 一起使用，它能够将一列数据拆成多行数据，在此 基础上可以对拆分后的数据进行聚合。

数据准备

movie	category
疑犯追踪	悬疑,动作,科幻,剧情
Lie to me	悬疑,警匪,动作,心理,剧情
战狼 2	战争,动作,灾难

需求

将电影分类中的数组数据展开。结果如下：

疑犯追踪	悬疑
疑犯追踪	动作
疑犯追踪	科幻
疑犯追踪	剧情
Lie to me	悬疑
Lie to me	警匪
Lie to me	动作
Lie to me	心理
Lie to me	剧情
战狼 2	战争
战狼 2	动作
战狼 2	灾难

创建 hive 表并导入数据

hive (default)> create table movie_info( movie string, category string)
row format delimited fields terminated by "\t";

load data local inpath "/data/movie.txt" into table movie_info;

按需求查询数据

hive (default)> SELECT
movie, category_name
FROM
movie_info lateral VIEW
explode(split(category,",")) movie_info_tmp AS category_name;

希望对正在查看文章的您有所帮助，记得关注、评论、收藏，谢谢您