sparksql 2.4 PIVOT 使用

最新推荐文章于 2024-06-19 10:26:39 发布
最新推荐文章于 2024-06-19 10:26:39 发布
阅读量1.9k 收藏 1
点赞数 1
分类专栏： 大数据—Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_24393347/article/details/104775269
版权
1.背景

在设计用户标签时，需要将1个维度多个值的情况生成多个标签，例如，用户视频的设备的类型，
由于用户含有多个设备，所以需要将每个设备类型设置成一个标签，业务方在使用时，就可以方便的 与 或 逻辑过滤。例如下面数据：

+------------+--------------------+-----+-----+
|     proxyId|                  hc| type| flow|
+------------+--------------------+-----+-----+
|000B2F6F9AAD|16a204da44b073cc4...|    0|18561|
|000B2F6F9AAD|c54d6d0ca0a25b06e...|    0|  594|
|000B2F6F9AAD|ff45bdcf521cc573e...|    0|  236|
|000B2F6F9AAD|bfa73c6c25a164b45...|20090|    0|
|000B2F6F9AAD|1e773e8eb32445bfd...|20090|    0|
|000B2F6F9AAD|215baeb631025228e...|    0|  206|
|000B2F6F9AAD|8f4c7290efa0a8e40...|    0| 1013|
|000B2F6F9AAD|c50a2ad7e0903f3c8...|    0| 1076|
|000B2F6F9AAD|0d3051d5205521007...|    2|    2|
|000B2F6F9AAD|7b6a77f16828ab893...|    0|   84|
|000B2F6F9AAD|09a32d812224e5ffe...|20090|    0|
|000B2F6F9AAD|26a6c8827780a2a91...|20085|    0|
|000B2F6F9AAD|34fc93529a4c9475e...|    0|  813|
|000B2F6F9AAD|ddc0204e51308b5e4...|    0|10901|
|000B2F6F9AAD|7794bf8e79fef8613...|    0|  347|
|000B2F6F9AAD|0ba18998322603234...|    0|  457|
|000B2F6F9AAD|aa3ed70c7a7027fc4...|25451|    0|
|000B2F6F9AAD|bf21bce2d9b59169e...|25451|    0|
|000B2F6F9AAD|1a6b8932e61fea61c...|    0|  208|
|000B2F6F9AAD|5fa30a58f8a1c7cbb...|20090|    0|
+------------+--------------------+-----+-----+
2.使用方法

pivotsql语法函数在spark 2.4版本才被支持，但是在spark官网的spark2.4 SQL api的文档没有发现使用的说明！- -
使用方式如下：

spark.sql("select * from temp PIVOT(count(r) FOR r IN (0,20085,20084))").show()

+------------+--------------------+-----+----+-----+-----+          
|     proxyId|                  hc| flow|   0|20085|20084|
+------------+--------------------+-----+----+-----+-----+
|000B2F6F9AAD|16a204da44b073cc4...|18561|   1| null| null|
|000B2F6F9AAD|c54d6d0ca0a25b06e...|  594|   1| null| null|
|000B2F6F9AAD|ff45bdcf521cc573e...|  236|   1| null| null|
|000B2F6F9AAD|bfa73c6c25a164b45...|    0|null| null| null|
|000B2F6F9AAD|1e773e8eb32445bfd...|    0|null| null| null|
|000B2F6F9AAD|215baeb631025228e...|  206|   1| null| null|
|000B2F6F9AAD|8f4c7290efa0a8e40...| 1013|   1| null| null|
|000B2F6F9AAD|c50a2ad7e0903f3c8...| 1076|   1| null| null|
|000B2F6F9AAD|0d3051d5205521007...|    2|null| null| null|
|000B2F6F9AAD|7b6a77f16828ab893...|   84|   1| null| null|
|000B2F6F9AAD|09a32d812224e5ffe...|    0|null| null| null|
|000B2F6F9AAD|26a6c8827780a2a91...|    0|null|    1| null|
|000B2F6F9AAD|34fc93529a4c9475e...|  813|   1| null| null|
|000B2F6F9AAD|ddc0204e51308b5e4...|10901|   1| null| null|
|000B2F6F9AAD|7794bf8e79fef8613...|  347|   1| null| null|
|000B2F6F9AAD|0ba18998322603234...|  457|   1| null| null|
|000B2F6F9AAD|aa3ed70c7a7027fc4...|    0|null| null| null|
|000B2F6F9AAD|bf21bce2d9b59169e...|    0|null| null| null|
|000B2F6F9AAD|1a6b8932e61fea61c...|  208|   1| null| null|
|000B2F6F9AAD|5fa30a58f8a1c7cbb...|    0|null| null| null|
+------------+--------------------+-----+----+-----+-----+

我尝试这样使用spark.sql("select * from temp PIVOT(count(r) FOR r )").show() 提示语法错误！如果列有很多值，并且后续业务扩展，也会增加很多，还需要维护 in后面的值，这就比较尴尬了。

但是使用算子是可以的，只能通过编码实现。不能使用sql配置的方式， - -
df.groupBy("hc").pivot("r").agg(count("r")).show()

+--------------------+----+----+---+----+---+---+---+---+---+---+---+---+---+---+----+----+-----+
|                  hc|-101|-100| -2|   0|  8| 15| 21| 23| 24| 25| 27| 85| 86| 90|1000|1032|20001|
+--------------------+----+----+---+----+---+---+---+---+---+---+---+---+---+---+----+----+-----+
|5de14e6e009d273a1...|   0|   0|  0|  12|  0|  0|  0|  0|  0|  0|  0|  0|  0|  0|   0|   0|    0|
|a6fd3c214bb7d393e...| 140|   2|  0|1328|  0|  0|  0|  0|  0|  0|  0|  0|  0|  0|   0|   0|    0|
|952a8ee68398a8742...|   0|   0|  3|  10|  0|  0|  0|  0|  5|  0|  0|  0|  0|  0|   0|   0|    0|
|aca5820a94ce68b74...|   0|   0|  0|   2|  0|  0|  0|  0|  0|  0|  0|  0|  0|  0|   0|   0|    0|
|6701bc0b85e8a8ac7...|   0|   0|  0|   5|  0|  0|  0|  0|  0|  0|  0|  0|  0|  0|   0|   0|    0|
|5dabb7d9d526d60c3...|   0|   0|  1|   1|  0|  0|  0|  0|  0|  0|  0|  0|  0|  0|   0|   0|    0|
|03d8fa9c5f69ffce6...|   0|   0|  0|  13|  0|  0|  0|  0|  0|  0|  0|  0|  0|  0|   0|   0|    0|
|a38775a8a7dba796d...|   0|   0|  0|  56|  0|  0|  0|  0|  0|  0|  0|  0|  0|  0|   0|   0|    0|
|95baf775c11f138e2...|   0|   0|  0|   9|  0|  0|  0|  0|  0|  0|  0|  0|  0|  0|   0|   0|    0|
|408cd837a780d3511...|   0|   0|  0|  25|  0|  0|  0|  0|  0|  0|  0|  0|  0|  0|   0|   0|    0|
|dbea0bc55f633bd74...|   0|   0|  0|  16|  0|  0|  0|  0|  0|  0|  0|  0|  0|  0|   0|   0|    0|
|53e8c58098f78d082...|   0|   0|  6|  25|  0|  0|  0|  0|  0|  0|  0|  0|  0|  0|   0|   0|    0|
|df97b94275b68ce6b...|   1|   1|  0|1846|  0|  0|  0|  0|  0|  0|  0|  0|  0|  0|   0|   0|    0|
|1e4e8ab81084dc0ea...|   0|   0|  0|   4|  0|  0|  0|  0|  0|  0|  0|  0|  0|  0|   0|   0|    0|
|0648970099ce3836d...|   0|   0|  0|  21|  0|  0|  0|  0|  0|  0|  0|  0|  0|  0|   0|   0|    0|
|244c01d10b63df00a...|   0|   0|  0|   2|  0|  0|  0|  0|  0|  0|  0|  0|  0|  0|   0|   0|    0|
|ea66db7adabf05e12...|  46|   0|  0|1325|  0|  0|  0|  0|  0|  0|  0|  0|  0|  0|   0|   0|    0|
|de982164e312e43c0...|   0|   0|  0|   7|  0|  0|  0|  0|  0|  0|  0|  0|  0|  0|   0|   0|    0|
|3a795daf26b0deb36...|   0|   0|  0|   7|  0|  0|  0|  0|  0|  0|  0|  0|  0|  0|   0|   0|    0|
|6cad16d90c42dfb71...|   0|   0|  0|  11|  0|  0|  0|  0|  0|  0|  0|  0|  0|  0|   0|   0|    0|
+--------------------+----+----+---+----+---+---+---+---+---+---+---+---+---+---+----+----+-----+
章锡平
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark场景功能实现
盛源的博客
04-02 1335
一 字符串的累加 with tmp as ( select gazj, array_join( collect_list( if( label_name='isactive_30days', label_value, '') ),'' ) as isactive_30days, array_join( collect_list( if( label_name='brand', label_value, '') ), '') as brand
SPARK-SQL - groupBy分组聚合相关的api，pivot实现行转列
小哇
08-12 593
pivot实现行转列 准备json文件 {"id":"1", "orderId":"1", "name":"apple", "amount":4, "price":20.0, "userId":"1"} {"id":"2", "orderId":"2", "name":"book", "amount":5, "price":10.0, "userId":"1"} {"id":"3", "orderId":"3", "name":"cake", "amount":1, "price":200.0, "us
SparrkSQL
最新发布
m0_71010347的博客
06-19 682
当Spark SQL提供的内置函数不能满足查询需求时，用户可以根据需求编写自定义函数（User Defined Functions, UDF），然后在Spark SQL中调用。​ 例如有这样一个需求：为了保护用户的隐私，当查询数据的时候，需要将用户手机号的中间4位数字用星号（）代替，比如手机号180***2688。/*** 用户自定义函数，隐藏手机号中间4位*///创建或得到SparkSession//第一步：创建测试数据（或直接从文件中读取）//模拟数据//将数组数据转为RDD。
spark的透视表：pivot
hyy_blog
01-27 359
参考： spark中的透视函数pivot - 尤灯塔 - 博客园
pyspark.sql两种行转列pivot和collect用法比较及concat_ws 组合使用
qq_34669699的博客
02-20 703
pyspark.sql两种行转列pivot和collect用法比较及concat_ws 组合使用
大数据（8n）图解Spark行转列pivot数据透视表
ArYe
08-04 498
文章目录1、透视1.1、SQL1.2、Spark2、逆透视2.1、SQL2.2、Spark3、Appendix 1、透视 1.1、SQL SELECT * FROM t PIVOT (SUM(d) FOR c IN ('c1' as c1,'c2'as c2,'c3' as c3)); 1.2、Spark import org.apache.spark.sql.SparkSession import org.apache.spark.{SparkConf, SparkContext} //创建Spark
Spark pivot数据透视从句
初阳
04-24 645
TOC。
Python Pivot table透视表使用方法解析
09-16
然而，当数据包含重复元素时，`pivot`函数可能无法满足需求，这时就需要使用`pivot_table`函数。`pivot_table`不仅能够处理重复元素，还可以进行聚合操作，如求和、平均值、最大值等。在上述例子中，2020年的拼多多...
Gauss_pivot.zip_pivot_数值分析pivot
07-13
高斯迭代解方程 数值分析 西安交通大学 作业
pivot d3 的源代码
08-13
在使用这些源代码时，你需要理解它们之间的关系，例如如何将Pivot Table与D3.js的可视化结合。在`script.js`中，你可能会看到Pivot Table的配置代码，以及D3.js用于创建图表的部分。例如，Pivot Table的输出可能作为...
PIVOT2.pdf
12-05
旋转标定(Pivot Calibration) 目的: 对每个探针来说, 都有自身的一个参考架(物体坐标系), 但是在导航系统中, 通过反 光球可以识别到的是: 探针的坐标中心位置(3 个自由度, xyz 位置)以及姿态(3 个自 由度, 旋转...
PowerPivot 入门手册_giantu54_PowerPivot_
10-04
**PowerPivot 入门手册** PowerPivot是一款由Microsoft开发的强大数据分析工具，它整合在Excel和SharePoint中，为用户提供了高级的数据分析和建模功能。作为一个入门手册，本书将帮助初学者理解和掌握PowerPivot的...
PySpark和SQL中的pivot 最佳实践
November、Chopin
09-26 1321
PySpark和SQL中的pivot 最佳实践
Spark中piovt的使用案例解析
qq_36382679的博客
08-20 562
Spark中piovt的使用案例解析 1 PiovtTest import org.apache.spark.sql.{Dataset, SparkSession} object PiovtTest { def main(args: Array[String]): Unit = { val spark: SparkSession = SparkSession .builder() .appName(this.getClass.getSimpleName.stripSu
spark中怎么实现行列转换
weixin_38290062的博客
12-21 1342
函数可以帮助你重新排列数据，将某些行值作为列，并根据指定的聚合函数对这些值进行汇总。函数可用于将包含数组的列拆分成多行，每个数组元素对应一行数据。列中的数组元素拆分成多行，每个员工的每个部门对应一行，并保留了原始的。列的值（A 和 B）转换为两列，并对每个日期的。在 Spark SQL 中，你可以使用。在 Spark SQL 中，你可以使用。列中的值转换为行，并保留对应的。进行分组，并且对应每个日期的。假设你有一个包含以下数据的表。列中的值转换为列，可以按照。假设你有一个包含以下数据的表。
spark sql如何行转列
大模型大数据攻城狮的专栏
10-09 876
可以看到，原本的品牌列已经被转换成了两个新的列，并且对于每个人名，都有对应的品牌年份信息填充其中。这就是典型的行转列操作。在数据仓库中，行转列通常称为”变形”(Pivoting) 或 “透视”(Pivoting)，可使用Spark SQL的。我们想要把该表中的品牌列转换为4列，分别表示不同的品牌，而值则为对应品牌的年份。函数用于处理可能存在的空值情况。
odoo pivot中去掉求和_spark中的透视函数pivot
weixin_29420421的博客
02-08 283
透视函数其实就是我们excel中常用的数据透视表相似，先来看个例子。以下是准备的数据源，数据是电商系统中用户的行为数据(浏览，收藏，加购，成交，评分等)，score为统计次数。对应的字段分别为 租户id，用户id，商品编码Id，行为事件代码，当日统计次数，统计日期。现在我们要转换成目标的数据是 租户中每个用户的所有行为记录在一行能够展示，直观点看下图。对应的字段是 租户Id，用户id，商品id，加...
Spark-SQL之DataFrame操作大全
weixin_30355437的博客
10-12 5871
　　Spark SQL中的DataFrame类似于一张关系型数据表。在关系型数据库中对单表或进行的查询操作，在DataFrame中都可以通过调用其API接口来实现。可以参考，Scala提供的DataFrame API。 　　本文中的代码基于Spark-1.6.2的文档实现。 一、DataFrame对象的生成 　　Spark-SQL可以以其他RDD对象、parquet文...
mysql PIVOT使用例子
05-18
MySQL是一种流行的关系型数据库管理系统，常用于存储和管理数据。PIVOT是一种SQL操作，可以将表格中的行转换为列，使得数据更加直观和易于分析。下面是一个MySQL PIVOT的使用例子： 假设我们有一个表格sales_data，其中包含以下列：销售人员姓名、产品名称和销售额。我们可以使用PIVOT将该表格按销售人员分组，然后将每个产品的销售额作为列，形成一个新的表格。 以下是示例代码： ``` SELECT * FROM ( SELECT salesman_name, product_name, sales_amount FROM sales_data ) AS source_table PIVOT ( SUM(sales_amount) FOR product_name IN ('Product A', 'Product B', 'Product C') ) AS pivot_table; ``` 上述代码中，我们首先从sales_data表中选择了销售人员姓名、产品名称和销售额这三列。然后，我们在source_table内部对这些数据进行分组和排序。最后，我们使用PIVOT语句将产品名称转换为列，并使用SUM函数计算每个产品的销售额总和。'Product A', 'Product B', 'Product C' 是我们选择的三个产品名称。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值