Hive SQL 行转列 和 列转行 1列转多列 函数和示例

高 商贸

高 （除上述的其他行业分类）

中 IT互联网_IT信息技术

中 金融_银行业|金融_保险业|金融_资本市场_证券期货

中 教育

中 商贸

中 （除上述的其他行业分类）

这样便简化了大量的开发工作，直接基于SQL便可以做匹配处理了，但是发现行业字段含有多个行业的情况，同时行业也存在细分行业，于是，便有了下面我们要介绍的，列转行，同时，行转列以及一列转多列，下面做简单的记录：

介绍

==

列转行（一列转多行）

---

SQL操作都是固定函数，… lateral view explode(split(处理字段,‘分隔符’)) ，这里先基于行业字段industry，存在多个行业时，我们转化为多行。如下：

select 字段1，字段2，待转行字段 from 表名 lateral view explode(split(处理字段,‘分隔符’)) a as 别名;

我们的SQL，执行后的效果：

hive> select

arch_value, industry_type

from dim.company_arch_value_condition_tag

lateral view explode(split(industry,‘\|’)) a as industry_type limit 10;

…

…

高 IT互联网_IT信息技术

高 金融_银行业

高 金融_保险业

高 金融_资本市场_证券期货

高 教育

高 商贸

高 （除上述的其他行业分类）

中 IT互联网_IT信息技术

中 金融_银行业

中 金融_保险业

行转列（多行转一列）

---

下面，对于存在细分行业的字段，进行行转列操作，操作也是固定的函数 … concat_ws(‘分隔符’, collect_set(待处理字段))…，如下：

select 字段1，字段2, concat_ws(‘分隔符’, collect_set(待处理字段)) as 别名 from 表名 group by 字段1，字段2

我们的SQL，如下：

hive> select

arch_value, concat_ws(‘|’, collect_set(industry)) as industry

from

dim.company_arch_value_condition_tag

group by arch_value limit 10;

…

…

• 商贸_居民服务_餐饮|商贸_居民服务_零售|商贸_居民服务_住宿|商贸_商业服务|（除上述的其他行业分类）|金融|商贸_居民服务_文旅_文化传媒|商贸_居民服务_零售_商业百货|商贸_居民服务_住宿_酒店|医疗|教育|金融_银行业_综合型银行|-|交通_水路运输_海运服务_客运游轮|交通_航空运输_航空客运服务_航空客运服务|商贸_居民服务_住宿|商贸_居民服务_零售_商品零售|教育_培训机构_线下培训|医疗_医疗保健机构|商贸_专业服务_专业服务_科学及市场、行业研究|医疗|教育|IT互联网|金融_资本市场|金融_金融交易数据|IT互联网_IT信息技术_互联网服务|医疗_医疗保健机构|商贸_居民服务_零售_互联网电商|商贸_住建|医疗_医疗保健机构|医疗_疗养康复机构|教育|商贸_住建_建筑_物业管理|商贸_居民服务_文旅_旅游景区|商贸_居民服务_文旅_文博场馆|商贸_居民服务_文旅_文化传媒|物流_物流服务_货运物流_货运物流|教育_培训机构|金融_银行业|金融_保险业|交通_航空运输_航空客运服务_航空客运服务|商贸_居民服务_文旅_旅行社|商贸_居民服务_零售_商业百货|商贸_居民服务_文旅_旅游景区|交通_公路运输_公路客运_公交运输|物流_物流服务_货运物流_货运物流|物流_其他物流_物流相关_物流相关|商贸_商业服务_仓储服务_仓储服务|工业_制造加工|工业_园区厂房_工业园区_工业园区|商贸_居民服务_餐饮_正餐快餐|商贸_居民服务_住宿

中 IT互联网_IT信息技术|金融_银行业|金融_保险业|金融_资本市场_证券期货|教育|商贸|（除上述的其他行业分类）|-|工业|物流

低 IT互联网_IT信息技术|金融_银行业|金融_保险业|金融_资本市场_证券期货|教育|商贸|（除上述的其他行业分类）|-|工业|物流

高 IT互联网_IT信息技术|金融_银行业|金融_保险业|金融_资本市场_证券期货|教育|商贸|（除上述的其他行业分类）|-|工业|物流

当然，按我们的业务，这里不需要行转列。我们需要对一列转多列。这里只是做一个行转列的演示。

一列转多列

---

我们需要在列转行的基础上，再进行一列转多列（细分行业，按我的业务最多四级，不够四级的我们直接补null，方便后面处理）。具体操作如下：

hive>

最后

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长，自己不成体系的自学效果低效漫长且无助。

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，不论你是刚入门Android开发的新手，还是希望在技术上不断提升的资深开发者，这些资料都将为你打开新的学习之门！

如果你觉得这些内容对你有帮助，需要这份全套学习资料的朋友可以戳我获取！！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！
在技术上不断提升的资深开发者，这些资料都将为你打开新的学习之门！**

如果你觉得这些内容对你有帮助，需要这份全套学习资料的朋友可以戳我获取！！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！