sparkSQL之拆分Map为多列

最新推荐文章于 2024-05-03 15:43:02 发布
最新推荐文章于 2024-05-03 15:43:02 发布
阅读量1.9k 收藏
点赞数
文章标签： 大数据 sql spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40129969/article/details/123236377
版权

发现问题

今天给同事处理标签的时候，
需要统计核实一下tags里面所有tags分类量级。
这是hive库里面数据的格式。
表结构
数据标签里面的tags里面是标签名，权重值。

解决思路

step1.给Map炸开成两列 这样就可以把所有的标签名拿出来了
step2.拿出所有的key值和did_md5的值
step3.针对key值进行聚合和统计

写sql代码

sql代码

得到结果

在这里插入图片描述

总结（复习）

lateral view outer explode（tags）kv as k,v
tags里面有几个就炸几行

wHiteZz55
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
SQL 将一列拆分成多列的三种方法
09-08
主要介绍了SQL 将一列拆分成多列的方法，文中讲解非常细致，代码帮助大家更好的理解和学习，感兴趣的朋友可以了解下
将全局map拆分成多个(数量：CHANNEL_MAP_NUM)，以减小同步锁压力,提高性能
qq944484545的博客
11-27 1613
package com.chainter.msg.push.server.common; import io.netty.buffer.ByteBuf; import io.netty.channel.Channel; import io.netty.handler.codec.http.websocketx.BinaryWebSocketFrame; import io.netty.util....
Sql之map字段拆key和value
杨羊不是羊的博客
09-27 2912
SELECT log_map, t.key, t.value FROM ( SELECT log_map FROM table WHERE dayno = 20200920 ) a lateral VIEW explode(log_map) t AS key, value 如果log_map里多个key和value，则拆成多行。
SQL 一行转多行的处理方案
热门推荐
zijikanwa
12-07 2万+
一. 背景和问题 背景：处理数据时，需要将一行中的某列数据根据分隔符转换到多行，为了实现该需求，找了一些解决方案，记录如下。 问题概述 二. MySQL中一行转多行 1. 技术点 mysql自带表：mysql.help_topic sql的字符串函数：substring_index() 1.1 mysql.help_topic 概述：mysql.help_topic是数据库mysql的一个表，该表提供查询帮助主题给关键字的详细内容。 说明：一行转多行的这条sql语句其实跟help_topic表没
通过注解实现MyBatis将sql查询结果的两个字段分别作为map的key,value
lishuzhen5678的博客
11-04 6301
在使用mybatis时，遇到一个这样一个场景：select语句，返回两个字段，这两个字段分别作为key和value返回一个Map，返回一个Map<Stri...
Map拆分List拆分
03-04
Map拆分和List拆分在对于大数据处理的时候起到了很大的作用。
Java Map拆分成子Map
咘噜biu的博客
01-04 7281
java Map按照指定个数拆分成子Map列表
MapReduce Map的个数分析
[email protected]
03-24 2596
1.概述 通常情况下，Map作业会通过input的目录产生一个或者多个map任务 主要的决定因素有：input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M，可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改) 2.举例 假设input目录下有1个文件a，大小为780M，那么hadoop会将该文件a分隔成7个块（6个128m的块和1个12m的块），从而产生7个map数 假设input目录下有3个文件a，b，c大小分别为10m，30m，150m
如何用Java实现一个线程安全的HashMap？
wgq2020的博客
11-01 163
ConcurrentHashMap的实现方式是将一个大的Map拆分成多个小的Map片段，每个Map片段上都有自己的锁，这样多个线程在访问不同的Map片段时就可以并行执行，提高了并发性能。这种方法在并发量小的情况下可能表现不错，但是在高并发场景下性能不如前面几种实现方式。使用Collections类提供的synchronizedMap()方法包装HashMap：将HashMap对象包装成一个线程安全的Map对象，使得HashMap的各种操作都变成了同步的操作，以此来保证线程安全。
Spark_Spark中 map, mapPartition, flatMap, flatMapToPair 方法简介，区别 与示例
迎难而上
05-02 6043
调研背景 ：本博主刚接触spark 开发，对其中的API 并不是特别的熟悉，对于以上提到的4种API 常分不清用法，故写下这篇文章作为参考。如果有别的见解，希望踊跃留言 ~~~主要的测试场景，模仿对语句中的单词进行切分~。（按照空格进行单词切分，词频统计的前一个步奏。 maven依赖：&lt;dependency&gt; &lt;groupId&gt;org.apache....
EXCEL按列拆分软件
02-09
1.该软件用于按列拆分excel，如第一列有三种取值，使用该软件即可拆分为3个以取值命名的Sheet页，同时也可以输出成独立的Excel文件； 2.该软件也支持两列同时拆分； 3.该软件支持拆分指定sheet页； 4.该软件使用指定...
xlsx文件按列筛选拆分成多个文件工具
10-18
xlsx文件按列筛选拆分成多个文件工具 可以按需选择列，来拆分多个文件 有python源代码，exe可执行文件，测试按列，使用说明
合并单元格拆分并进行填充，支持多列
11-06
合并单元格拆分并进行填充，支持多列，vba开发人员可以进行二次开发，
hive sql 第四天
peimina的博客
03-06 106
hive sql
【spark2】【源码学习】【分区数】spark读取 本地/可分割/单个 的文件时是如何划分分区
梦，不可及，所以可期待...
10-06 1850
大数据计算中很关键的一个概念就是分布式并行计算，意思就是讲一份原始数据切分成若干份，然后分发到多个机器或者单个机器多个虚拟出来的内存容器中同时执行相同的逻辑，先分发(map)，然后聚合(reduce)的一个过程。 那么问题是原始文件是怎么切分的呢，在spark读取不同的数据源，切分的逻辑也是不同的。 首先spark是有改变分区的函数的，分别是Coalesce()方法和rePartition()方法，但是这两个方法只对shuffle过程生效，包括参数spark.default.parallelism也只是对.
Hive SQL——explode拆分函数&多行(列)合并为一行(列)&reflect函数
qq_52421831的博客
10-13 4322
Hive SQL —— explode 拆分函数
Hive SQL实现数组中map的拆分以及计算
xiaoleilei666的博客
11-27 4244
一、需求背景 本次任务主要是完成对表中的每一行数据进行求和计算。 涉及的表数据如下所示： ["Emc:0","MoVoiceCall:0","Mt:0","MoSig:2","MoData:1","HighPri:0","MoVideoCall:0","MoSms:0","MpsPri:0","McsPri:0"] ["Emc:0","MoVoiceCall:1","Mt:0","MoSig:26","MoData:1","HighPri:0","MoVideoCall:0","MoSms:0","Mp
MapReduce执行sql过程，带例子解析
MUHUAAAAAA的博客
12-14 1109
本文摘自Hadoop MapReduce执行过程详解（带hadoop例子） - 摆渡者 - OSCHINA - 中文开源技术交流社区 分析MapReduce执行过程 MapReduce运行的时候，会通过Mapper运行的任务读取HDFS中的数据文件，然后调用自己的方法，处理数据，最后输出。Reducer任务会接收Mapper任务输出的数据，作为自己的输入数据，调用自己的方法，最后输出到HDFS的文件中。整个流程如图： Mapper任务的执行过程详解 每个Mapper任务是...
ruoyi漏洞总结
最新发布
qq_59468567的博客
05-03 741
baseurl 就有了，有的是全的 url，大多数是只给个 baseurl：prod-api，这类。js 下面有个 app.xxxxxx(一些个字母数字).js，直接里面搜。如果页面访问显示不正常，可添加默认访问路径尝试是否显示正常。若依有个特点，密码可能在前台直接显示，点击并能够成功登录。监控中存在大量接口路径，可通过未授权获取更多敏感信息在。图标和登录页面及验证码处的样式识别出若依。认证失败，无法访问系统资源。进行替换实现登录系统。数据库存在未授权访问。
sparksql拆分多列数据
04-26
对于SparkSQL拆分多列数据，您可以使用正则表达式函数和split函数来实现。首先，使用正则表达式函数regexp_extract从源列中提取需要的信息，然后使用split函数将结果切割成多个列。下面是一个示例代码： ``` SELECT regexp_extract(source_column, 'regex_pattern', 1) AS col_1, regexp_extract(source_column, 'regex_pattern', 2) AS col_2, split(regexp_extract(source_column, 'regex_pattern', 3), ',') AS col_3 FROM table_name; ``` 其中，source_column为需要拆分的源列，regex_pattern为拆分的正则表达式，1、2、3为每个组的位置，col_1、col_2、col_3为拆分后的列名。split函数将第三列按逗号分隔成多个元素。 希望这个回答能够帮到您。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值