hive的行转列和列转行

最新推荐文章于 2024-04-30 05:43:28 发布

Jeady·

最新推荐文章于 2024-04-30 05:43:28 发布

阅读量506

点赞数 2

CC 4.0 BY-SA版权

本文链接：https://blog.csdn.net/qq_43149023/article/details/104425977

本文介绍了如何在Hive中实现行转列和列转行的操作。通过实际案例展示了数据处理的步骤，包括数据装入、建表、数据转换以及结果验证。利用Hive的函数如collect_set、concat_ws、split和explode进行转换，并强调了在操作中需要注意的细节，如避免列名冲突和优化资源使用。

今天写了一个小练习, 关于hive的行转列和列转行, 因为比较简单,直接上案例(自己模拟生产设想的一个, 不具有代表性), 看代码:

现在有这样一个需求, 有以下数据:

a b 1
a b 2
a b 3
c d 4
c d 5
c d 6

要求用hsql处理成

a b 1,2,3
c d 4,5,6

然后又处理成

a b 1
a b 2
a b 3
c d 4
c d 5
c d 6

该需求我整理成以下步骤

1.首先 vim /root/t41.txt装入数据

2.建表并加载数据, 该表装t41.txt里的数据.

//如果t4表存在,就删除它
drop table if exists t4;
create table t4(col1 string,col2 string,col3 string) row

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Jeady·

关注关注

2
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

hive操作（行转列，列转行）

aiduo3346的博客

09-05

4613

hive函数之行转列和列转行

guohuishan的博客

08-19

450

行转列：将多行转为一列 1.写数据以"\t"隔开 vim shujv.txt 孙悟空白羊座 A 老王射手座 A 宋宋白羊座 B 猪八戒白羊座 A 凤姐射手座 A 2.建表以"\t"分割 create table person_info( name string, constellation string, blood_type string ) row format delimited fields terminated by '\t'; 3.

参与评论您还未登录，请先登录后发表或查看评论

Hive 行转列&列转行

wzj_wp的博客

04-15

1301

行转列 concat_ws: hive (wzj)> desc function extended concat_ws; OK tab_name concat_ws(separator, [string | array(string)]+) - returns the concatenation of the strings separated by the separator. Exa...

Hive--行转列/列转行

热门推荐

qq_46893497的博客

11-22

2万+

一、lateral view 分类：视图功能：配合UDTF来使用,把某一行数据拆分成多行数据很多的UDTF不能将结果与源表进行关联，使用lateral view ，可以将UDTF拆分的单个字段数据与原始表数据关联上使用方式： select …… from tabelA lateral view UDTF(xxx) 视图名 as a,b,c 案例： --准备数据:vim /export/datas/lateral.txt 1 http://facebook.com/path/p1.php?q

Hive中的行转列和列转行

zhr2415658919的博客

12-05

4597

在使用Hive的数据开发工作中，为了处理复杂的业务需求，经常要用到行转列或列转行的操作。为了节省以后处理这类工作的时间，提高工作效率，现将Hive行列互转的操作方法总结如下。列转行，顾名思义，将原本某列中一行的数据拆分为多行，该操作会使得数据行数增多。我们采用的方法是使用LATERAL VIEW语法，配合explode函数（或其他UDTF）Hive中是有可以直接将一行输出为多行的函数的（即UDTF），比如explode函数，举一个例子来说明这个函数的用法，数据集如下：其中score字段为数组ARRAY(B

hive行转列、列转行——头歌

m0_68235882的博客

05-09

2377

在 Hive 实际开发过程中，我们会遇到“行转列“和“列转行”的场景。比如下面一个例子： 1、需要取“订单号”对应的所有商品“sku 号”，商品“sku 号”放在一列，即从 table1 查询出 table2；2、当商品“sku 号”均在一列的时候，需要查询每个“sku 号”对应的“订单号”，即从 table2 查询出 table1。为了完成本关任务，你需要掌握：1.行列转换的应用场景，2.如何行转列，3，如何列转行。在右侧编辑器补充代码,实现 test1 的行转列操作，test2 的列转行操作。

Hive SQL 行转列 和列转行 1列转多列函数和示例

2401_84046545的博客

04-30

929

《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》，点击传送门，即可获取！高商贸高（除上述的其他行业分类）中 IT互联网_IT信息技术中金融_银行业|金融_保险业|金融_资本市场_证券期货中教育中商贸中（除上述的其他行业分类）这样便简化了大量的开发工作，直接基于SQL便可以做匹配处理了，但是发现行业字段含有多个行业的情况，同时行业也存在细分行业，于是，便有了下面我们要介绍的，列转行，同时，行转列以及一列转多列，下面做简单的记录：介绍==列转行（一列转多行）SQL操作都是

HIVE行转列和列转行

jiantianming2的博客

01-28

1万+

行转列 select dt_month,valid_num,unvalid_num from test.test_xw_rowtocol 数据如下转换要求：行转列需保留列名，如下图方式一：采用union all的形式 select dt_month ,'valid_num' as type ,sum(valid_num) as num

Hive 行转列，Hive 列转行， UDF，UDTF

ZZJXP的博客

04-07

393

Hive 行转列 hive> create table testArray2( > name string, > weight array<string> > )row format delimited > fields terminated by '\t' > COLLECTION ITEMS terminated by ','; OK Time taken: 0.172 seconds hive

hive行转列、列转行真题解析

静待花开

03-31

2396

本文目录一、行转列1.1、行转列需要用到的函数1.2、真题实战1.2.1、需求1.2.2、创建hive表并导入数据1.2.3、按需求解题二、列转行2.1、列转行需要用到的函数2.2、真题实战2.2.1 、需求2.2.2、创建hive表并导入数据2.2.3、按需求解题2.2.4、详细解析上述sql三、总结一、行转列 1.1、行转列需要用到的函数 CONCAT(string A/col, str...

hive中的行转列，列转行

06-19

2544

行转列： 1.行转列所用的函数 CONCAT(string A/col, string B/col…)：返回输入字符串连接后的结果，支持任意个输入字符串; CONCAT_WS(separator, str1, str2,…)：它是一个特殊形式的 CONCAT()。第一个参数作为剩余参数间的分隔符。分隔符可以是与剩余参数一样的字符串。如果分隔符是 NULL，返回值也将为 NULL。这个函数会跳过分隔符参数后的任何 NULL 和空字符串。分隔符将被加到被连接的字符串之间; COLLECT_SET(col)：函数

Hive之行转列/列转行

weixin_33923762的博客

08-04

264

1、行转列 场景：在hive表中，一个用户会有多个人群标签，List格式（逗号分隔如要转成List），有时我们需要统计一个人群标签下有少用户，这是就需要使用行转列了例如，user_crowd_info有如下数据 visit_id crowds abc [100,101,102] def...

Hive行转列、列转行

cp_panda_5的博客

11-22

546

hive行转列、列转行

Hive中行转列与列转行

qq_44540985的博客

11-12

1804

行专列 CONCAT(string A/col, string B/col…)：返回输入字符串连接后的结果，支持任意个输入字符串; CONCAT_WS(separator, str1, str2,...)：它是一个特殊形式的 CONCAT()。第一个参数剩余参为指定分隔符。 CONCAT_WS(separator, array_name)：数组以separator为分隔符进行拼接。 COLLECT_SET(col)：函数只接受基本数据类型，它的主要作用是将某字段的值进行去重汇总，产生 Arr

sql列转行_我与Hive的不解之谜系列（四）：行转列和列转行

weixin_39870132的博客

12-09

108

目录本篇内容1、行转列2、列转行前言行转列准备数据SQL实现列转行SQL实现本篇内容1、行转列2、列转行前言SQL之行转列及列转行一直是面试题热点，在实践工作中也用的很多，掌握列转行和行转列势在必行。行转列准备数据《八佰》战争《八佰》动作《八佰》抗日《八佰》剧情《姜子牙》动画《姜子牙》神话《姜子牙》科幻《姜子牙》动作《姜子牙...

Hive（行转列 列转行）

weixin_46602525的博客

07-15

8374

Hive（行转列 列转行） 行转列 行专列常用的几种方式有 concat concat_ws collect_list collect_set 举例说明白羊座 SELECT concat_ws("|",collect_set(name)),concat(xz,",",xx) FROM db2.xyj GROUP BY concat(xz,",",xx) 列转行 explode 常与split连用语法格式 lateral view explode(array) tmp(临时表名) as colna

hive 列转行

root_one的博客

12-16

2885

SELECT concat_ws(',', collect_set(param_code)) from rca.yyd_bairong_interface_result WHERE dt < '2018-09-27' AND borrow_nid ='2017000000xxxxxx' AND update_time ='2017-05-01 00:11:37.0' ;

hive中的行转列以及列转行

子小的博客

05-27

311

列转行函数：concat_ws(’,'collect_set(column)) 说明：collect_list 不去重，collect_set 去重，column的数据类型必须为string，若不是可使用cast(column as string)进行转化 col_lie.user_id col_lie.order_id 104399 1715131 104399 2105395 104399 1758844 104399 981085 104399 2444143 1

Hive的行转列和列转行

陆山右的技术博客

11-21

284

行转列:使用 hive 的内置函数 concat_ws() 和 collect_set()进行转换。列转行:使用hive的内置函数explode()进行转化。

Hive行转列列转行