我与Hive的不解之谜系列（四）：行转列和列转行

最新推荐文章于 2024-04-18 03:46:39 发布
最新推荐文章于 2024-04-18 03:46:39 发布
阅读量504 收藏
点赞数 1
分类专栏： hive SQL 文章标签： 大数据 hive sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42083008/article/details/110440747
版权
hive 同时被 2 个专栏收录
11 篇文章 0 订阅
订阅专栏
SQL
5 篇文章 0 订阅
订阅专栏

目录

本篇内容

1、行转列

2、列转行

前言

行转列

准备数据

SQL实现

列转行

SQL实现

本篇内容

1、行转列

2、列转行

前言

SQL之行转列及列转行一直是面试题热点，在实践工作中也用的很多，掌握列转行和行转列势在必行。

行转列

准备数据

《八佰》    战争
《八佰》    动作
《八佰》    抗日
《八佰》    剧情
《姜子牙》    动画
《姜子牙》    神话
《姜子牙》    科幻
《姜子牙》    动作
《姜子牙》    伦理
《战狼2》    战争
《战狼2》    动作
《战狼2》    灾难

需要实现：

《八佰》    战争,动作,抗日,剧情
《姜子牙》     动画,神话,科幻,动作,伦理
《战狼2》    战争,动作,灾难

SQL实现

select name,

concat_ws(",",collect_list(typ)) as category

from tb_movie

group by name;

执行结果

列转行

有数据

《八佰》    战争,动作,抗日,剧情
《姜子牙》     动画,神话,科幻,动作,伦理
《战狼2》    战争,动作,灾难

转化为

《八佰》    战争
《八佰》    动作
《八佰》    抗日
《八佰》    剧情
《姜子牙》    动画
《姜子牙》    神话
《姜子牙》    科幻
《姜子牙》    动作
《姜子牙》    伦理
《战狼2》    战争
《战狼2》    动作
《战狼2》    灾难

SQL实现

select name,tp

from tb_movie2

lateral view

explode(split(categorys,',')) t as tp;

更多学习、面试资料尽在微信公众号：Hadoop大数据开发

菜鸟周星星
关注
专栏目录
使用scala语言实现wordcount程序
weixin_43740680的博客
07-28 731
使用scala语言实现wordcount（统计单词出现的次数）： object WordCount { def main(args: Array[String]): Unit = { val lines = List("hadoop hive spark scala","spark hive habase", "hive spark java") //数据转换 ...
Scala-代码实现WordCount案例
SmallScorpion
04-11 579
需求 // 单词计数：将集合中出现的相同的单词，进行计数，取计数排名前三的结果 val stringList = List("Hello Scala Hbase kafka", "Hello Scala Hbase", "Hello Scala", "Hello") 需求分析 代码实现 def main(args: Array[String]): Unit = { // 单词计数：将集...
Scala语言进阶(二)：单词计数WordCount案例
小M呀~之大数据系列
05-18 1732
Scala语言进阶案例
Scala语言实现WordCount案例以及几个高级函数的使用总结
m0_38109926的博客
09-20 729
Scala语言实现WordCount案例以及几个高级函数的使用总结 实现案例前需要熟悉scala中集合的几个高级函数： 映射：**集合.map() ** 即拿到集合中元素做某些处理，返回当前集合的类型。 扁平化：**集合.flatten() **就是提取外层集合中的内层集合中的元素，打散放入到外层集合中。 映射和扁平化可以写成一个函数：集合.flatMap()。 分组：**集合.groupBy()**函数：根据集合中元素的某个特征进行分组，返回值类型：Map(any -> List[any]) 排序
scala语言实现wordcount
mo
11-04 321
object wordCount{ def main(args: Array[String]): Unit = { val str = List("hadoop hive hadoop","hive hello mysql pig hello hadoop") val res1 = str.flatMap((s:String)=>s.split(" "))//1.按空格来切分单词 //res1= List(hadoop, hive, hadoop, hive, hello,
HIVE多行转多列 和 多列转多行
01-07
1、HIVE多行转多列 源数据样式 把CAMERA_NO，RESULT_DATA两列转换为CAMERA_NO字段的数据为列名，RESULT_DATA字段对应CAMERA_NO的数据为值 方法一：利用str_to_map函数 alter table ods.iot.iot_5060_iotdaq.5060_...
Hive行转列、列转行
王义凯 的博客
12-29 847
hive 行转列，列转行
HIVE行转列和列转行
热门推荐
jiantianming2的博客
01-28 1万+
行转列 select dt_month,valid_num,unvalid_num from test.test_xw_rowtocol 数据如下 转换要求：行转列需保留列名，如下图 方式一：采用union all的形式 select dt_month ,'valid_num' as type ​ ,sum(valid_num) as num
Hive SQL 行转列 和 列转行 1列转多列 函数和示例
最新发布
2401_84411879的博客
04-18 1012
高 商贸高 （除上述的其他行业分类）中 IT互联网_IT信息技术中 金融_银行业|金融_保险业|金融_资本市场_证券期货中 教育中 商贸中 （除上述的其他行业分类）这样便简化了大量的开发工作，直接基于SQL便可以做匹配处理了，但是发现行业字段含有多个行业的情况，同时行业也存在细分行业，于是，便有了下面我们要介绍的，，同时，以及，下面做简单的记录：介绍==列转行（一列转多行）
hive列转行案例
01-07
hive列转行 1．函数说明 EXPLODE(col)：将 hive 一列中复杂的 array 或者 map 结构拆分成多行。 LATERAL VIEW ： 用法：LATERAL VIEW udtf(expression) tableAlias AS columnAlias 解释：用于和 split, explode 等 ...
Spark Scala简单 统计单词个数
07-16
该资源可以简单计算文本中单词个数
Spark大数据中文分词统计Scala语言工程源码
08-20
参考网络资源使用IKAnalyzer分词组件，实现了在Spark框架下使用Scala语言对唐诗宋词等国学经典进行中文分词统计排序的功能，你可以轻松发现唐诗宋词中最常用的词是那几个。
Scala实现wordCount
SX的博客
07-10 9540
废话不多说直接上代码 val list = List("rose is beautiful","jennie is beautiful","lisa is beautiful","jisoo is beautiful") /** * 第一步，将list中的元素按照分隔符这里是空格拆分，然后展开 * 先map(_.split(" "))将每一个元素按照空格拆分 ...
Scala 实现 WordCount
别下完这场雪
05-26 994
Scala 不得不说非常灵活方便，只是语法相较Java比较复杂 下面看一下Scala 如何实现 wordcount
用Scala语言编写Spark独立应用程序WordCount
LSlscool的博客
05-22 1157
编程实现WordCount计算 在终端中执行如下命令创建一个文件夹sparkapp1作为应用程序根目录 cd ~ # 进入用户主文件夹 mkdir ./sparkapp1 # 创建应用程序根目录 mkdir -p ./sparkapp1/src/main/scala # 创建所需的文件夹结构 在/sparkapp1目录下创建一个文本文件word.txt，其内容如下 使用vim编辑器在/sparkapp1/src/main/scala目录下建立一
scala 统计计算
大JAVA解决方案
03-15 1306
scala> List(1, 2, 3, 4, 5, 5, 6, 7, 8, 9)res30: List[Int] = List(1, 2, 3, 4, 5, 5, 6, 7, 8, 9)scala> List(1, 2, 3, 5, 5, 5, 6, 6,6,6,6, 7,7,7, 8, 9)res31: List[Int] = List(1, 2, 3, 5, 5, 5, 6, 6...
IntelliJ IDEA 三种方式创建scala工程+Word Count示例
sinat_23854139的博客
01-15 1580
测试了最简单的WordCount示例，所以三种方法工程应用的深层特征和便利体会不深，只是简单从创建工程角度总结一下。Maven+scala最繁琐，需要添加配置信息；sbt工程一步到位，但是由于服务器在境外，等待时间有时较长；idea工程最是快捷简便。此外，三种方法都需要手动添加或确认依赖。
Scala WorldCount案例2(将集合中出现的相同的单词，进行计数，取计数排名前三的结果)
Huc673619的博客
10-26 405
package com.huc.WordCount object WordCount3 { def main(args: Array[String]): Unit = { // 原始数据 val tupleList = List(("Hello Scala Spark World ", 4), ("Hello Scala Spark ", 3), ("Hello Scala ", 2), ("Hello ", 1)) // 步骤一：转换为（单词，次数），（单词，次数）的格式
Scala编程实战 —— 一文学会编码大数据基础案例wordcount
春和的博客
05-16 2443
使用scala编写代码实现spark的基础案例 WordCount wordcount是所有大数据框架都基本要做的案例，使用scala编写的wordcount代码对比hadoop更简洁更易写 这主要是对scala集合中功能函数的熟悉与使用
CDH550 Hive存储格式与HQL详解：行存、列存与压缩
"CDH550@hive存储格式和HQL材料主要涵盖了Hive的三种存储模式：行存储、列存储和混合存储，以及Hive数据压缩的不同方式，如gzip、lzo和snappy。" 在CDH550版本的Hive中，数据存储有三种基本模式： 1. 行存储模式是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值