Hive ,Hsql行转列、列转行实现

最新推荐文章于 2024-08-23 02:08:44 发布

lz_N_one

最新推荐文章于 2024-08-23 02:08:44 发布

阅读量834

点赞数 1

分类专栏：数据仓库 Hive基础文章标签： hive 大数据 hadoop

本文链接：https://blog.csdn.net/lz_N_one/article/details/126050358

版权

本文介绍了在Hive SQL中如何实现行转列和列转行的操作，通过使用collect_set()、collect_list()、concat_ws()、explode()、split()和LATERAL VIEW等函数。提供了具体的实例和需求分析，帮助理解这些转换方法的应用。

摘要由CSDN通过智能技术生成

HQL中实现行列转换
其实并不用纠结哪个是行转列、哪个是列转行，明白二者之间的需求即可
在Hive sql应用中会遇到“行转列”和“列转行”的场景，下面介绍其基本使用语法。

1.行转列：

关键字：collect_set() / collect_list()、concat_ws()

1）collect_set()/collect_list()：
collect_set( )函数只接受基本数据类型，作用是对参数字段进行去重汇总，返回array类型字段;
collect_list()函数和collect_set( )作用一样，只是前者不去重,后者去重。
2）concat_ws()：
concat_ws (separator,字符串A/字段名A,字符串B/字段名B…)是concat的特殊形式，第一个参数是分隔符，分隔符会放到要连接的字符串之间,分隔符可以是字符串，也可以是其他参数。如果分隔符为NULL,则结果为NULL,函数会忽略任何分隔符参数后的 NULL值。但是concat_ws( )不会忽略任何空字符串。（然而会忽略所有的 NULL)，如果参数为string类型数组则合并数组内字符串。
例:concat_ws( ‘,’, [ ‘a ‘, ‘b’])–> ‘a,b’
行转列基本语法：
select 分类字段,concat_ws(’,’,collect_set(合并字段)) as 别名 from table_name group 分类字段;

/* 原始数据
name       gender          times
张三         男            唐
李四         男            唐
王五         男            明
赵六         男            明
*/
-- 先用collect_set将列拼接在一起，然后再通过concat_ws进行展开拼接
SELECT a.gender_times,
       concat_ws(';',collect_set(a.name)