Hive-SQL之行转列

最新推荐文章于 2024-01-30 14:46:05 发布
原创 最新推荐文章于 2024-01-30 14:46:05 发布 · 405 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive #sql #odps

本文介绍了如何在Hive中实现数据的行转列操作，通过`COLLECT_SET`收集相同`poi_code`到数组，再利用`CONCAT_WS`和`STR_TO_MAP`进行转换，详细展示了每个步骤的结果。

Hive之行转列

1.数据

t_demo表

poi_code tag_name tag_weight
1706169 末次下单时间 20210302
1706169 最后拜访时间 2021-03-21 14:15:00
1706169 首次下单时间 20191026

2.需求结果

poi_code 首次下单时间 末次下单时间 首次下单时间
1706169 20191026 20210302 2021-03-21 14:15:00

3.求解思路

3.1 我们把相同的poi_code放在一个数组里面

SELECT 
poi_code ,
aa
FROM 
(

SELECT 
					poi_code ,
                    collect_list(concat(tag_name,
最低0.47元/天 解锁文章
【Hive SQL】Hive Sql 列转行（lateral view 与 explode 、posexplode）详解
qq_34446614的博客
06-21 1437
将hive某列一行中复杂的 array 或 map 结构拆分成多行（只能输入array或map）。通常，explode函数会与lateral view一起结合使用;
Hive sql 行转列
sruokun的博客
03-24 3336
Hive sql 行转列（简单与进阶用法，附业务场景）
Hive SQL实现行转列跟列转行
alie_123的博客
12-15 839
原理：将UDTF（表生成函数）的结果构建成一个类似于视图的表，然后将原表中的每一行和UDTF函数输出的每一行进行连接，生成一张新的虚拟表。from 表名 lateral view UDTF(xxx) 侧视图名 as 字段名;以上就是hive SQL中行列转换的具体解决方案了。1、首先将单列数据先切割再使用炸裂函数炸开；2、同时配合侧视图生成最后完整表。
Hive SQL中的列转行（lateral view与explode）、行转列
热门推荐
weixin_49709859的博客
01-30 1万+
列转行、行转列的灵活运用
Hive SQL 行转列 和 列转行 1列转多列 函数和示例
终码一生
09-27 3020
起因 最近收到一个需求，做一张宽表的清洗处理，基于一张表格做条件，于是便把表格直接抽为一张字典表，用于对基础数据做match匹配。表格数据如下： 整理后表数据如下（仅作演示，省略了其他条件字段）： hive> select arch_value, industry from dim.company_arch_value_condition_tag limit 10; OK 高 IT互联网_IT信息技术 高 金融_银行业|金融_保险业|金融_资本市场_证券期货 高 教育 高 商贸 高 （除上
Hive sql 行列转换(行转列，列转行)
Ajekseg的博客
07-29 7126
是concat的特殊形式，第一个参数是分隔符，分隔符会放到要连接的字符串之间,分隔符可以是字符串，也可以是其他参数。lateralview首先为原始表的每行调用UDTF，UTDF会把一行拆分成一或者多行，lateralview再把结果组合，产生一个支持别名表的虚拟表。select分类字段,concat_ws(’,’,collect_set(合并字段))as别名fromtable_namegroup分类字段;例concat_ws(‘,’,[‘a‘,‘b’])–>‘a,b’...
hive-3.1.3 hive-3.1.3 hive-3.1.3
01-22
Hive定义了一种类SQL语言HiveQL，它允许熟悉SQL的开发者查询Hadoop中的数据。即使底层数据存储在HDFS文件系统中，用户也可以通过HiveQL执行数据挖掘操作。Hive支持多种数据格式，包括文本文件、SequenceFiles、...
HIVE-SQL开发规范.docx
03-12
【秘密】Hive SQL 开发规范 Hive作为Hadoop生态系统中的重要组件，为企业提供了对大规模数据集的高效处理和分析能力。它允许用户通过类似于SQL的查询语言（HiveQL）来操作分布式存储的数据，简化了MapReduce编程...
Hive-SQL语法大全
最新发布
04-28
在Hive中执行查询操作与传统SQL有相似之处，但也有不同点，比如支持内建函数和用户自定义函数（UDF），以及一些扩展的聚合函数等。Hive提供了大量的内置函数，覆盖了字符串处理、数学运算、时间运算、条件函数以及...
HIVE-SQL开发规范.zip
03-13
《HIVE-SQL开发规范》文档的出现，旨在为Java开发者提供一套标准的Hive SQL编程准则，确保数据处理的高效、稳定与可维护性。Hive是基于Hadoop的数据仓库工具，它允许用户使用SQL语法来查询分布式存储的数据。在大...
hivesql行转列和列转行
korry24的博客
03-13 3152
hivesql行转列和列转行。
HIVESQL-列转行&行转列(初级版）
ABC15732186271的博客
01-06 1224
hive行转列与列转行
hivesql转化mysql,hive SQL 行转列 和 列转行
weixin_39668496的博客
03-19 204
一、行转列的使用１、问题hive如何将a b 1a b 2a b 3c d 4c d 5c d 6变为：a b 1,2,3c d 4,5,6２、数据test.txta b 1a...
Hive-行转列（explode）
weixin_30433075的博客
03-26 166
场景：通过parseHtml UDF解析一串HTML，返回一以 @@ 分割的字符串，使用split分割字符串进数组中，然后将数组的元素转列。 开始的写法 SELECT id, legal_person, explode(split(parseHtml(legal_person_track_record),'@@')) as record, amac_status FROM db_...
hive行转列
aijia7039的博客
03-28 198
一、问题 hive如何将 a 1,2,3 b 4,7 c 5 转化成为： a 1 a 2 a 3 b 4 b 7 c 5 二、原始数据 cat row_column.txt a 1,2,3 b 4,7 c ...
hive sql的行转列,列转行
qq_28647809的博客
01-29 215
数据: a b 1 a b 2 a b 3 结果: a b 1，2，3 处理过程: create table tmp_test(col1 string,col2 string,col3 string) select col1,col2,concat_ws(’,’,collect_set(col3)) from tmp_test group by co...
hivesql 行转列，列转行（分列名和字符串转换）
qq_39745055的博客
08-18 932
lateral view首先为原始表的每行调用UDTF，UTDF会把一行拆分成一或者多行，lateralview再把结果组合，产生一个支持别名表的虚拟表。group_concat()会计算哪些行属于同一组，将属于同一组的列显示出来。Concat()函数用于将多个字符串连接成一个字符串。可以有一个或多个参数。他们都是将分组中的某列转为一个数组返回，不同的是collect_list不去重，而collect_set去重。concat_ws函数在连接字符串的时候，只要有一个字符串不是NULL，就不会返回NULL。
hive sql的行列转换
weixin_51104399的博客
06-07 391
hive-sql 行列转换
hiveSQL行转列 列转行
mrgui008的博客
03-17 495
hiveSQL 实现 列转行 行转列
Hive--行转列/列转行
04-23
首先，行转列和列转行在Hive中是比较常见的操作，尤其是在处理复杂的数据结构如数组或映射时。根据引用中的内容，行转列通常使用lateral view配合explode函数，而列转行则可能涉及到聚合函数如collect_list或concat_...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值