HIVESQL的列转行和行转列使用总结

最新推荐文章于 2024-07-09 20:04:59 发布

我从大数据中找个零

最新推荐文章于 2024-07-09 20:04:59 发布

阅读量1.2k

点赞数

分类专栏：大数据工具文章标签： hive 大数据 sql

本文链接：https://blog.csdn.net/Mr_Liuzhongbin/article/details/127765122

版权

本文介绍了在大数据处理中，如何使用HIVE SQL进行列转行和行转列操作，以满足复杂数据需求。通过一个具体的业务背景，展示了将book_type列转换为多个属性列的过程，利用map结构进行转换，确保了数据灵活性，即使枚举值增加也能轻松应对。

摘要由CSDN通过智能技术生成

在日常数仓的数据开发中，业务数据需求会遇到很多行转列和列转行的需求，这里需要做一次总结，也可以把经验分享给大家

业务背景

不同业务下有着不同的业务逻辑，这里以一个抽象的业务背景为例子，帮助大家理解行转列的逻辑。现有hive数据表my_db.book_test，数据如下

需求是想要将书的类型变成属性，主键为book_id，字段如下：

book_id	is_novel	is_history	is_techno	is_econo

通过数据可以看出，一个书籍具有多个类型，但是枚举值是无法穷举的。从数据形式来看，是要将一列转为多列。这里可以先将原表列转行，然后行转列。
第一步转换代码

SELECT  book_id,
        book_type_ele

关注

专栏目录