pyspark group之后展开列表，计算列表个数

最新推荐文章于 2022-03-16 15:04:38 发布
最新推荐文章于 2022-03-16 15:04:38 发布
阅读量1.1k 收藏 1
点赞数
分类专栏： pyspark python 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40161254/article/details/106524840
版权
python 同时被 3 个专栏收录
85 篇文章 0 订阅
订阅专栏
pyspark
63 篇文章 9 订阅
订阅专栏
分布式
7 篇文章 0 订阅
订阅专栏

背景

+-----------+-----------+
|question_id|user_answer|
+-----------+-----------+
|      30530|    122306,|
|      30548|    122378,|
|      30451|    121990,|
|      30530|    122304,|
|      30548|    122378,|
|      30451|    121990,|
|      30530|    122304,|
|      30548|    122378,|
|      30523|    122279,|
|      30543|    122359,|
|      30523|    122279,|
|      30543|    122359,|
|      30493|     122159|
|      30508|     122217|
|      30523|     122278|
|      30493|     122157|
|      30508|     122219|
|      30450|     121986|
|      30523|     122277|
|      30543|     122359|
+-----------+-----------+

按照question_id groupby 合并，把user_answer 按照逗号分隔，合并成一个列表
最后输出每个question_id的每个user_answer 的个数

需求

  • 字符串分隔
  • group之后列表展平成一个列表
  • python 删除列表指定元素
  • pytho 计算列表所有元素出现的次数
  • pyspark udf自定义函数

solution

  • 先分隔字符串
df=df.withColumn('answers',F.split("user_answer",',')).drop("user_answer")


+-----------+----------+
|question_id|   answers|
+-----------+----------+
|      30530|[122306, ]|
|      30548|[122378, ]|
|      30451|[121990, ]|
|      30530|[122304, ]|
|      30548|[122378, ]|
|      30451|[121990, ]|
|      30530|[122304, ]|
|      30548|[122378, ]|
|      30523|[122279, ]|
|      30543|[122359, ]|
|      30523|[122279, ]|
|      30543|[122359, ]|
|      30493|  [122159]|
|      30508|  [122217]|

出现的问题是 列表元素会有空元素
(最后解决)

  • 按照question_id 分组合并列表
        gp=df.groupby("question_id").agg(F.flatten(F.collect_list('answers')).alias("answers"))


+-----------+--------------------+
|question_id|             answers|
+-----------+--------------------+
|      30548|[122378, , 122378...|
|      30519|            [122261]|
|      30523|[122279, , 122279...|
|      30451|[121990, , 121990...|
|      30509|            [122221]|
|      30530|[122306, , 122304...|
|      30493|[122159, 122157, ...|
|      30543|[122359, , 122359...|
|      30536|            [122331]|
|      30508|[122217, 122219, ...|
|      30450|    [121986, 121987]|
|      30529|            [122303]|
|      30485|  [122126, , 122125]|
+-----------+--------------------+
  • 自定义函数删除列表的空元素，计算个数
  def apply(x):
            print("*"*11)
            while '' in x:
                x.remove('')
            res=collections.Counter(x)
            print(res)
            return json.dumps(res)
        # a=F.udf(lambda x:collections.Counter(x))
        a=F.udf(apply)

        gp = gp.withColumn("choices", a(gp.answers))
        gp.show()

-res

+-----------+--------------------+--------------------+
|question_id|             answers|             choices|
+-----------+--------------------+--------------------+
|      30548|[122378, , 122378...|{"122378": 12, "1...|
|      30519|            [122261]|       {"122261": 1}|
|      30523|[122279, , 122279...|{"122279": 3, "12...|
|      30451|[121990, , 121990...|{"121990": 10, "1...|
|      30509|            [122221]|       {"122221": 1}|
|      30530|[122306, , 122304...|{"122306": 7, "12...|
|      30493|[122159, 122157, ...|{"122159": 1, "12...|
|      30543|[122359, , 122359...|{"122359": 3, "12...|
|      30536|            [122331]|       {"122331": 1}|
|      30508|[122217, 122219, ...|{"122217": 1, "12...|
|      30450|    [121986, 121987]|{"121986": 1, "12...|
|      30529|            [122303]|       {"122303": 1}|
|      30485|  [122126, , 122125]|{"122126": 1, "12...|
+-----------+--------------------+--------------------+

perfect

隔天来更

  • 可以判断user_answer 是否以‘,’结尾有就删除，没有就继续
    减少计算量
  • F.when
  • udf 自定义函数
def apply(s):
   if s.endswith(","):
  	 return s[:-1]
   return s
a = F.udf(apply)
df=df.withColumn('answers', F.when(df.user_answer.endswith(','), a(df.user_answer)).otherwise(df.user_answer))
NoOne-csdn
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark 【scala and pyspark 】如何统计 Dataframe 列中的空值比例
shiter编写程序的艺术
01-13 2367
机器学习在进行数据预处理的时候，经常需要统计某一列的缺失值比例。这个功能，spark 有多种的实现方式，我们一起来看看。
vue实现评论列表功能
12-30
具体代码如下所示： <!DOCTYPE html> <html> <head> <title>简易评论列表</title> <meta charset=utf-8> <link rel=stylesheet href=node_modules\bootstrap\dist\css\bootstrap.css rel=external nofollow rel=external nofollow > </head> <body>
Unity实现QQ列表折叠菜单
12-20
本文实例为大家分享了Unity实现QQ列表折叠菜单的具体代码，供大家参考，具体内容如下 主要用到了GUI的自动布局功能，VerticalLayoutGroup，注意ChildControlsSize 和ChildForceExpand属性设置为 Width 效果： 实现代码： /// <summary> /// 折叠菜单 /// </summary> public class FoldPanel : MonoBehaviour { [SerializeField] private GameObject panelItem; // 折叠页 [SerializeField]
PYSPARK中的groupby, agg，alias, orderby多个columns的操作
anxingirl的专栏
03-10 9744
#Pyspark imports import pyspark from pyspark.sql import SQLContext from pyspark.sql.functions import hour, when, col, date_format, to_timestamp from pyspark.sql.functions import * # Define Spark Context sc = pyspark.SparkContext(appName="Homework")...
pyspark groupby分组 遍历分组后的数据(每一行)
WGS.
06-28 7989
文章目录假数据截图先来看一下描述groupby分组图例pandas groupby分组图例pyspark groupby分组图例实现思路 注意：本文的分组，并没有聚合 假数据截图 先来看一下描述 这里分组没有聚合 原来pandas的groupby处理是对根据id分组后的每个组的df进行处理，方便理解起见看如下代码块： 换句话说，pandas里的groupby之后是可以遍历的，也就是可以遍历分组后的每个小df，如下： # pandas实现 def pandas_gb(data): # 根据id
PySpark groupBy groupByKey用法
rgc_520_zyl的博客
08-11 4242
用法 groupBy: 每个元素根据用户指定的函数运行结果作为key,然后进行分组; 如果需要 自定义分组的key可以使用此方法; groupByKey:rdd每个元素根据第一个值作为key进行分组 用法示例 # -*- coding: utf-8 -*- """ (C) rgc All rights reserved create time '2021/5/30 21:01' Usage: """ # 构建spark from pyspark.conf import SparkConf from
『pyspark』三：RDD数据处理
简之的通向技术之路
06-27 2440
1、使用Pyspark 1.1 Linking with Spark from pyspark import SparkContext, SparkConf 1.2 Initializing Spark conf = SparkConf().setAppName(appName).setMaster(master) sc = SparkContext(conf=conf) 2、RDD 2.1 读取数据 2.1.1 parallelize rdd = sc.parallelize([('Amber', 2
Android仿QQ好友列表实现列表收缩与展开
09-02
并重写相关方法，如`getGroupCount()`、`getChildrenCount(int groupPosition)`、`getGroup(int groupPosition)`、`getChild(int groupPosition, int childPosition)`等，以返回数据源中的组数、子项数以及具体的...
vue-列表下详情的展开与折叠案例
10-15
2. **详情展示**：使用`<transition-group>`组件处理列表项的展开和折叠动画。`v-for`循环遍历数据，`v-show`根据`showDetail`的状态控制详情的显示和隐藏。`mode`属性设置为`out-in`，确保在切换展开项时，旧项完全...
python中计算一个列表中连续相同的元素个数方法
01-01
# 问：计算a中最多有几个连续的1 很明显，答案是4 如果用代码实现，最先想到的就是itertools： import itertools a = [1,1,1,1,2,2,2,3,3,1,1,1,3] print max([len(list(v)) for k,v in itertools.groupby(a)]) ...
可展开列表ExpandableListView嵌套GirdView demo
03-17
例如，当一个Group被展开时，我们加载并填充对应的GridView；当折叠时，清空或隐藏GridView。 ```java expandableListView.setOnGroupClickListener(new ExpandableListView.OnGroupClickListener() { @Override ...
listview展开列表视图的效果源码.zip
07-10
1. **ExpandableListView**: 这是ListView的一个扩展，支持父项（Group）和子项（Child）的概念，允许用户展开和折叠子列表。默认情况下，每个父项只显示一行，但点击时可以展开显示其对应的子项。 2. **...
pyspark --- 将df按照某一列展开
WGS.
12-03 1657
from pyspark import SparkContext, SQLContext, SparkConf from pyspark.sql import SparkSession import warnings from pyspark.sql import functions as fn from pyspark.sql.types import StructField, LongType # sc = SparkContext(appName="AAA") sqlContext = SQLCo.
【Spark】(task2)PySpark数据统计和分组聚合
发现问题，并解决问题，批判性思维
03-16 8274
学习总结 文章目录学习总结一、数据统计1.1 读取文件1.2 保存读取的信息1.3 分析每列的类型，取值个数1.4 分析每列是否包含缺失值二、分组聚合2.1 学习groupby分组聚合的使用2.2 学习agg分组聚合的使用2.3 transform的使用Reference 一、数据统计 1.1 读取文件 步骤1：读取文件https://cdn.coggle.club/Pokemon.csv import pandas as pd from pyspark.sql import SparkSession #
pyspark系列--统计基础
振裕
03-23 9883
统计基础 1. 简单统计 2. 随机数 3. 四舍五入 4. 抽样 5. 描述性统计 6. 最大值最小值 7. 均值方差 8. 协方差与相关系数 9. 交叉表(列联表) 10. 频繁项目元素 11. 其他数学函数 11.1. 数学函数 12. 元素去重计数 13. 聚合函数 grouping 14. 聚合函数 grouping_id 1. 简单统计 在数据分析中，基本统计分...
pyspark入门系列 - 01 统计文档中单词个数
qq_34615112的博客
06-10 2024
导入SparkConf和SparkContext模块，任何Spark程序都是SparkContext开始的，SparkContext的初始化需要一个SparkConf对象，SparkConf包含了Spark集群配置的各种参数。初始化后，就可以使用SparkContext对象所包含的各种方法来创建和操作RDD和共享变量。 from pyspark import SparkConf from pyspark import SparkContext conf = SparkConf().setMaster('l
pyspark group_concat
武西亮的博客
09-09 1437
from pyspark.sql.column import Column from pyspark.sql.column import _to_java_column from pyspark.sql.column import _to_seq   spark = SparkSession.builder.appName("scala_udf_test").getOrCreate() sc = ...
Python获取列表出现最多的元素以及出现次数
他的博客
12-29 8456
Python获取列表出现最多的元素以及出现次数 max函数简单实现 eg：max(列表, key=列表.count) li = ["要", "不要", "再考虑下", "要", "不要", "要"] print(f"年轻人，你“{max(li, key=li.count)}”记得给博主点个赞哦！") print(f"列表中出现次数最多的元素是：{max(li, key=li.count)} ，总出现次数：{li.count(max(li, key=li.count))}") ...
python lambda if elif else
热门推荐
花木兰
01-10 3万+
sourcedf['地区']=sourcedf['exam_district'].apply(lambda x:"全国" if x==1 else ("北京" if x==3 else("上海" if x==24 else "其他地区")) ) lamada(表达式 if 条件 else (表达式 if 条件 else(…………)))...
pyspark groupBy使用例子
最新发布
03-12
可以回答这个问题。下面是一个 pyspark groupBy 的使用例子： 假设有一个包含以下字段的数据集： ``` id, name, age, gender, salary ``` 我们想要按照 gender 字段进行分组，并计算每个分组的平均薪资。可以使用以下代码实现： ```python from pyspark.sql.functions import avg df.groupBy("gender").agg(avg("salary")).show() ``` 这将输出每个 gender 分组的平均薪资。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值