我与Hive的不解之谜系列（四）：行转列和列转行

最新推荐文章于 2023-11-20 22:19:47 发布
最新推荐文章于 2023-11-20 22:19:47 发布
阅读量328 收藏
点赞数 1
分类专栏： hive SQL 文章标签： 大数据 hive sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42083008/article/details/110440747
版权
hive 同时被 2 个专栏收录
11 篇文章 0 订阅
订阅专栏
SQL
5 篇文章 0 订阅
订阅专栏

目录

本篇内容

1、行转列

2、列转行

前言

行转列

准备数据

SQL实现

列转行

SQL实现

本篇内容

1、行转列

2、列转行

前言

SQL之行转列及列转行一直是面试题热点，在实践工作中也用的很多，掌握列转行和行转列势在必行。

行转列

准备数据

《八佰》    战争
《八佰》    动作
《八佰》    抗日
《八佰》    剧情
《姜子牙》    动画
《姜子牙》    神话
《姜子牙》    科幻
《姜子牙》    动作
《姜子牙》    伦理
《战狼2》    战争
《战狼2》    动作
《战狼2》    灾难

需要实现：

《八佰》    战争,动作,抗日,剧情
《姜子牙》     动画,神话,科幻,动作,伦理
《战狼2》    战争,动作,灾难

SQL实现

select name,

concat_ws(",",collect_list(typ)) as category

from tb_movie

group by name;

执行结果

列转行

有数据

《八佰》    战争,动作,抗日,剧情
《姜子牙》     动画,神话,科幻,动作,伦理
《战狼2》    战争,动作,灾难

转化为

《八佰》    战争
《八佰》    动作
《八佰》    抗日
《八佰》    剧情
《姜子牙》    动画
《姜子牙》    神话
《姜子牙》    科幻
《姜子牙》    动作
《姜子牙》    伦理
《战狼2》    战争
《战狼2》    动作
《战狼2》    灾难

SQL实现

select name,tp

from tb_movie2

lateral view

explode(split(categorys,',')) t as tp;

更多学习、面试资料尽在微信公众号：Hadoop大数据开发

菜鸟周星星
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
使用scala语言实现wordcount程序
weixin_43740680的博客
07-28 691
使用scala语言实现wordcount（统计单词出现的次数）： object WordCount { def main(args: Array[String]): Unit = { val lines = List("hadoop hive spark scala","spark hive habase", "hive spark java") //数据转换 ...
Scala-代码实现WordCount案例
SmallScorpion
04-11 561
需求 // 单词计数：将集合中出现的相同的单词，进行计数，取计数排名前三的结果 val stringList = List("Hello Scala Hbase kafka", "Hello Scala Hbase", "Hello Scala", "Hello") 需求分析 代码实现 def main(args: Array[String]): Unit = { // 单词计数：将集...
scala语言实现wordcount
mo
11-04 300
object wordCount{ def main(args: Array[String]): Unit = { val str = List("hadoop hive hadoop","hive hello mysql pig hello hadoop") val res1 = str.flatMap((s:String)=>s.split(" "))//1.按空格来切分单词 //res1= List(hadoop, hive, hadoop, hive, hello,
Scala实现wordCount
SX的博客
07-10 9509
废话不多说直接上代码 val list = List("rose is beautiful","jennie is beautiful","lisa is beautiful","jisoo is beautiful") /** * 第一步，将list中的元素按照分隔符这里是空格拆分，然后展开 * 先map(_.split(" "))将每一个元素按照空格拆分 ...
count(1)、count(*)、count(列名)的区别
lcgoing的博客
09-20 3887
含义： 1、count(*) ：统计所有的行数，包括为null的行（COUNT(*)不单会进行全表扫描，也会对表的每个字段进行扫描。而COUNT('x')或者COUNT(COLUMN)或者COUNT(0)等则只进行一个字段的全表扫描）。 2、count(1)：计算一共有多少符合条件的行（其实就可以想成表中有这么一个字段,这个字段就是固定值1,count(1),就是计算一共有多少个1..同理,c...
HIVE多行转多列 和 多列转多行
01-07
1、HIVE多行转多列 源数据样式 把CAMERA_NO，RESULT_DATA两列转换为CAMERA_NO字段的数据为列名，RESULT_DATA字段对应CAMERA_NO的数据为值 方法一：利用str_to_map函数 alter table ods.iot.iot_5060_iotdaq.5060_...
hive列转行案例
01-07
hive列转行 1．函数说明 EXPLODE(col)：将 hive 一列中复杂的 array 或者 map 结构拆分成多行。 LATERAL VIEW ： 用法：LATERAL VIEW udtf(expression) tableAlias AS columnAlias 解释：用于和 split, explode 等 ...
Python pandas 列转行操作详解(类似hive中explode方法)
09-16
本文将详细讲解如何在pandas中进行列转行的操作，类似于Hive中的explode方法，这对于处理包含列表或者数组的数据尤为有用。 首先，我们来看一个简单的例子。假设有一个DataFrame `df`，其中包含两列：`A` 和 `B`，`...
09.hive内置函数--表生成函数--行转列explode--lateral-view.mp4
04-29
09.hive内置函数--表生成函数--行转列explode--lateral-view.mp4
Scala WorldCount简单案例和简单复杂案例
qq_43224174的博客
01-23 326
Scala WorldCount简单案例和简单复杂案例，供自己以后学习用
Spark Scala简单 统计单词个数
07-16
该资源可以简单计算文本中单词个数
word count增强案例的四种解法（基于scala单机版）
破晓的成长之路
10-22 315
word count算是大数据学习力的一个基础学习案例了，在此以scala单机案例为背景，不考虑数据倾斜的情况下以四种方法完成word count 数据如下 其中数字代表每个tuple String出现的次数，如"hadoop spark spark"出现了四次 val list = List( ("hadoop spark zookeeper kafka", 1), ...
Java & Scala 版 Spark word count 程序
weixin_30477797的博客
04-03 115
学习高级编程语言的时候，作为入门程序，要先学会写 “Hello World ！”。 在大数据的世界，作为入门程序，要先学会写 Word Count。 这里记录一下如何分别使用 java 和 scala语言调用 spark 的算子来完成 word count 程序。 一、Java 版本： import java.util.Arrays;import java.util.Iterator;im...
Scala编程实战 —— 一文学会编码大数据基础案例wordcount
春和的博客
05-16 2399
使用scala编写代码实现spark的基础案例 WordCount wordcount是所有大数据框架都基本要做的案例，使用scala编写的wordcount代码对比hadoop更简洁更易写 这主要是对scala集合中功能函数的熟悉与使用
使用Scala在Hadoop上使用WordCount
04-01 286
Hadoop是使用Java构建的一项出色技术。 今天，我们将使用Scala实施一个简单的地图缩小作业，然后使用HDInsight运行它。 我们将在我们的assembly.sbt中添加程序集插件 addSbtPlugin("com.eed3si9n" % "sbt-assembly" % "0.14.3") Then we will add the Hadoop core depen...
简单使用Spark、Scala完成对天气数据的指标统计
最新发布
m0_65046090的博客
11-20 1672
学习Spark和Scala编程可以帮助我们处理大规模数据，进行数据分析。使用Spark和Scala编写程序可以提高数据处理的效率和灵活性，同时还能够充分发挥分布式计算的优势。通过学习这两门技术，我们可以更好地理解数据处理的流程和原理，并且可以应用到实际的数据分析和统计工作中。总而言之，学习Spark和Scala编程是提升数据处理能力和数据分析技能的重要途径。
使用Scala语言实现单词数量统计功能
ITBOY_ITBOX博客
05-06 5265
使用Scala语言实现单词数量统计功能： List( ("Hello Scala World", 4), ("Hello World", 3), ("Hello Hadoop", 2), ("Hello Hbase", 1) ) 将上面集合中的单词统计出现次数并按照次数降序排列取前3. 方式一 object WordCount { def main(args: Array[Str...
使用scala，python完成统计数据demo
free97zl的博客
12-16 530
环境变量修改为： export JAVA_HOME=/home/hadoop/opt/jdk1.8.0_152export PATH=PATH:PATH:JAVA_HOME/binexport HADOOP_HOME=/home/hadoop/opt/hadoop-2.9.0export HADOOP_CONF_DIR=/home/hadoop/opt/hadoop-2.9.0/etc/hadoo
【Hadoop基础教程】5、Hadoop之单词计数
andieguo的专栏
03-04 8534
单词计数是最简单也是最能体现MapReduce思想的程序之一，可以称为MapReduce版“Hello World”，该程序的完整代码可以在Hadoop安装包的src/example目录下找到。单词计数主要完成的功能：统计一系列文本文件中每个单词出现的次数，如下图所示。本blog将通过分析WordCount源码来帮助大家摸清MapReduce程序的基本结构和运行机制。
hive 列转行 行转列
08-29
Hive中的列转行和行转列是通过使用一些特定的内置函数和关键字来实现的。列转行可以使用EXPLODE函数，该函数可以将一个包含复杂结构的数组或者映射拆分成多行。行转列可以使用collect_set函数，该函数将某一列的所有数据转化为一个集合，并且可以使用concat_ws函数将集合中的所有元素以逗号分割连接成一个字符串。此外，为了使用EXPLODE和LATERAL VIEW函数，你可以使用LATERAL VIEW关键字，语法为LATERAL VIEW udtf(expression) tableAlias AS columnAlias。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [hive列转行案例](https://download.csdn.net/download/weixin_38581777/14037437)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"] - *2* [hive行转列与列转行](https://blog.csdn.net/qq_24790473/article/details/109710145)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"] - *3* [hive操作（行转列，列转行）](https://blog.csdn.net/aiduo3346/article/details/102085019)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值