spark 笔记 pyspark

最新推荐文章于 2022-01-12 11:19:19 发布
最新推荐文章于 2022-01-12 11:19:19 发布
阅读量593 收藏 4
点赞数
分类专栏： spark 文章标签： pyspark spark dataframe
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42886289/article/details/100079200
版权

pyspark.sql.functions 中函数应用 DataFrame 转变

from pyspark import SparkConf, SparkContext
from pyspark.sql import SparkSession
spark = SparkSession.builder\
        .appName('test1') \
        .master('local') \
        .getOrCreate()
sc = spark.sparkContext

构建数据集

data = ['{"name":"Natalie","gender":"F","age":16,"English":80,"Math":56,"Chinese":72}',
 '{"name":"Logan","gender":"M","age":18,"English":82,"Math":88,"Chinese":91}',
 '{"name":"Joseph","gender":"M","age":16,"English":75,"Math":69,"Chinese":80}',
 '{"name":"Mason","gender":"F","age":17,"English":50,"Math":58,"Chinese":70}',
 '{"name":"Harper","gender":"M","age":15,"English":65,"Math":70,"Chinese":65}',
 '{"name":"Anthony","gender":"F","age":17,"English":66,"Math":71,"Chinese":75}']

df = sc.parallelize(data).map(lambda x:[x]).toDF(['info'])
df.show(truncate=False)

+----------------------------------------------------------------------------+
|info                                                                        |
+----------------------------------------------------------------------------+
|{"name":"Natalie","gender":"F","age":16,"English":80,"Math":56,"Chinese":72}|
|{"name":"Logan","gender":"M","age":18,"English":82,"Math":88,"Chinese":91}  |
|{"name":"Joseph","gender":"M","age":16,"English":75,"Math":69,"Chinese":80} |
|{"name":"Mason","gender":"F","age":17,"English":50,"Math":58,"Chinese":70}  |
|{"name":"Harper","gender":"M","age":15,"English":65,"Math":70,"Chinese":65} |
|{"name":"Anthony","gender":"F","age":17,"English":66,"Math":71,"Chinese":75}|

解析json json_tuple()

解析出来全为字符串

from pyspark.sql.functions import json_tuple
df = df.select(json_tuple(df.info,'name','gender','age','English','Math','Chinese')\
           .name('name','gender','age','English','Math','Chinese'))
df.show()

+-------+------+---+-------+----+-------+
|   name|gender|age|English|Math|Chinese|
+-------+------+---+-------+----+-------+
|Natalie|     F| 16|     80|  56|     72|
|  Logan|     M| 18|     82|  88|     91|
| Joseph|     M| 16|     75|  69|     80|
|  Mason|     F| 17|     50|  58|     70|
| Harper|     M| 15|     65|  70|     65|
|Anthony|     F| 17|     66|  71|     75|
+-------+------+---+-------+----+-------+

将多列合并成一列 concat_ws()

from pyspark.sql.functions import concat_ws
df = df.withColumn('score',concat_ws(',',col('English'),col('Math'),col('Chinese'))).select('name','gender','age','score')
df.show()

+-------+------+---+--------+
|   name|gender|age|   score|
+-------+------+---+--------+
|Natalie|     F| 16|80,56,72|
|  Logan|     M| 18|82,88,91|
| Joseph|     M| 16|75,69,80|
|  Mason|     F| 17|50,58,70|
| Harper|     M| 15|65,70,65|
|Anthony|     F| 17|66,71,75|
+-------+------+---+--------+

增加一列 （科目） lit()literal

from pyspark.sql.functions import lit
df = df.withColumn('subject',lit('English,Math,Chinese'))
df.show()

+-------+------+---+--------+--------------------+
|   name|gender|age|   score|             subject|
+-------+------+---+--------+--------------------+
|Natalie|     F| 16|80,56,72|English,Math,Chinese|
|  Logan|     M| 18|82,88,91|English,Math,Chinese|
| Joseph|     M| 16|75,69,80|English,Math,Chinese|
|  Mason|     F| 17|50,58,70|English,Math,Chinese|
| Harper|     M| 15|65,70,65|English,Math,Chinese|
|Anthony|     F| 17|66,71,75|English,Math,Chinese|
+-------+------+---+--------+--------------------+

分割成列表 split()

from pyspark.sql.functions import split
df = df.select('name','gender','age',split(col('score'),',').alias('score_array'),split(col('subject'),',').alias('subject_array'))
df.show(truncate=False)

+-------+------+---+------------+------------------------+
|name   |gender|age|score_array |subject_array           |
+-------+------+---+------------+------------------------+
|Natalie|F     |16 |[80, 56, 72]|[English, Math, Chinese]|
|Logan  |M     |18 |[82, 88, 91]|[English, Math, Chinese]|
|Joseph |M     |16 |[75, 69, 80]|[English, Math, Chinese]|
|Mason  |F     |17 |[50, 58, 70]|[English, Math, Chinese]|
|Harper |M     |15 |[65, 70, 65]|[English, Math, Chinese]|
|Anthony|F     |17 |[66, 71, 75]|[English, Math, Chinese]|
+-------+------+---+------------+------------------------+

将两个数组对应成map map_from_arrays()

from pyspark.sql.functions import map_from_arrays
df = df.select('name','gender','age',map_from_arrays('subject_array','score_array').alias('sub_score_map'))
df.show(truncate=False)

+-------+------+---+------------------------------------------+
|name   |gender|age|sub_score_map                             |
+-------+------+---+------------------------------------------+
|Natalie|F     |16 |[English -> 80, Math -> 56, Chinese -> 72]|
|Logan  |M     |18 |[English -> 82, Math -> 88, Chinese -> 91]|
|Joseph |M     |16 |[English -> 75, Math -> 69, Chinese -> 80]|
|Mason  |F     |17 |[English -> 50, Math -> 58, Chinese -> 70]|
|Harper |M     |15 |[English -> 65, Math -> 70, Chinese -> 65]|
|Anthony|F     |17 |[English -> 66, Math -> 71, Chinese -> 75]|
+-------+------+---+------------------------------------------+

将map 转换成多行 explode()

from pyspark.sql.functions import explode
df = df.select('name','gender','age',explode('sub_score_map').alias('sub','score'))
df.show()

+-------+------+---+-------+-----+
|   name|gender|age|    sub|score|
+-------+------+---+-------+-----+
|Natalie|     F| 16|English|   80|
|Natalie|     F| 16|   Math|   56|
|Natalie|     F| 16|Chinese|   72|
|  Logan|     M| 18|English|   82|
|  Logan|     M| 18|   Math|   88|
|  Logan|     M| 18|Chinese|   91|
| Joseph|     M| 16|English|   75|
| Joseph|     M| 16|   Math|   69|
| Joseph|     M| 16|Chinese|   80|
|  Mason|     F| 17|English|   50|
|  Mason|     F| 17|   Math|   58|
|  Mason|     F| 17|Chinese|   70|
| Harper|     M| 15|English|   65|
| Harper|     M| 15|   Math|   70|
| Harper|     M| 15|Chinese|   65|
|Anthony|     F| 17|English|   66|
|Anthony|     F| 17|   Math|   71|
|Anthony|     F| 17|Chinese|   75|
+-------+------+---+-------+-----+

将两列对应成 map create_map()

from pyspark.sql.functions import create_map
df = df.select('name','gender','age',create_map('sub','score').name('map'))
df.show()

+-------+------+---+---------------+
|   name|gender|age|            map|
+-------+------+---+---------------+
|Natalie|     F| 16|[English -> 80]|
|Natalie|     F| 16|   [Math -> 56]|
|Natalie|     F| 16|[Chinese -> 72]|
|  Logan|     M| 18|[English -> 82]|
|  Logan|     M| 18|   [Math -> 88]|
|  Logan|     M| 18|[Chinese -> 91]|
| Joseph|     M| 16|[English -> 75]|
| Joseph|     M| 16|   [Math -> 69]|
| Joseph|     M| 16|[Chinese -> 80]|
|  Mason|     F| 17|[English -> 50]|
|  Mason|     F| 17|   [Math -> 58]|
|  Mason|     F| 17|[Chinese -> 70]|
| Harper|     M| 15|[English -> 65]|
| Harper|     M| 15|   [Math -> 70]|
| Harper|     M| 15|[Chinese -> 65]|
|Anthony|     F| 17|[English -> 66]|
|Anthony|     F| 17|   [Math -> 71]|
|Anthony|     F| 17|[Chinese -> 75]|
+-------+------+---+---------------+

按分组把列元素收集成数组 collect_list() collect_set()

from pyspark.sql.functions import collect_list,collect_set
df = df.groupBy('name').agg(collect_set('gender').name('gender'),collect_set('age').name('age'), collect_list('map').alias('map'))
df.show(truncate=False)

+-------+------+----+------------------------------------------------+
|name   |gender|age |map                                             |
+-------+------+----+------------------------------------------------+
|Natalie|[F]   |[16]|[[English -> 80], [Math -> 56], [Chinese -> 72]]|
|Mason  |[F]   |[17]|[[English -> 50], [Math -> 58], [Chinese -> 70]]|
|Logan  |[M]   |[18]|[[English -> 82], [Math -> 88], [Chinese -> 91]]|
|Anthony|[F]   |[17]|[[English -> 66], [Math -> 71], [Chinese -> 75]]|
|Joseph |[M]   |[16]|[[English -> 75], [Math -> 69], [Chinese -> 80]]|
|Harper |[M]   |[15]|[[English -> 65], [Math -> 70], [Chinese -> 65]]|
+-------+------+----+------------------------------------------------+

将数组中的 map 转成一个 map，将 age、gender 列中元素取出

这里用到 udf 自定义函数，可以将列表中的map 转成一个map
element_at() 可以将列表中某个位置的元素取出来

from pyspark.sql.functions import udf, element_at
from pyspark.sql.types import MapType
from collections import ChainMap

def lal(ar):
    return dict(reduce(lambda x,y:ChainMap(x,y),ar))

mm_udf = udf(lal,MapType(StringType(),StringType(),True))
df = df.withColumn('map',mm_udf(col('map')))\
    .withColumn('gender',element_at(col('gender'),1))\
    .withColumn('age',element_at(col('age'),1))
df.show(truncate=False)

+-------+------+---+------------------------------------------+
|name   |gender|age|map                                       |
+-------+------+---+------------------------------------------+
|Natalie|F     |16 |[English -> 80, Chinese -> 72, Math -> 56]|
|Mason  |F     |17 |[English -> 50, Chinese -> 70, Math -> 58]|
|Logan  |M     |18 |[English -> 82, Chinese -> 91, Math -> 88]|
|Anthony|F     |17 |[English -> 66, Chinese -> 75, Math -> 71]|
|Joseph |M     |16 |[English -> 75, Chinese -> 80, Math -> 69]|
|Harper |M     |15 |[English -> 65, Chinese -> 65, Math -> 70]|
+-------+------+---+------------------------------------------+

将map 中的键 和 值 分开成两列 map_values() map_keys()

from pyspark.sql.functions import map_values,map_keys
df = df.withColumn('score',map_values('map'))\
        .withColumn('subject',map_keys('map'))\
        .select('name','gender','age','score','subject')
df.show(truncate=False)

+-------+------+---+------------+------------------------+
|name   |gender|age|score       |subject                 |
+-------+------+---+------------+------------------------+
|Natalie|F     |16 |[80, 72, 56]|[English, Chinese, Math]|
|Mason  |F     |17 |[50, 70, 58]|[English, Chinese, Math]|
|Logan  |M     |18 |[82, 91, 88]|[English, Chinese, Math]|
|Anthony|F     |17 |[66, 75, 71]|[English, Chinese, Math]|
|Joseph |M     |16 |[75, 80, 69]|[English, Chinese, Math]|
|Harper |M     |15 |[65, 65, 70]|[English, Chinese, Math]|
+-------+------+---+------------+------------------------+

将数组元素转成字符串 array_join()

from pyspark.sql.functions import array_join
df = df.withColumn('score',array_join(col('score'),','))\
        .withColumn('subject',array_join(col('subject'),','))
df.show()

+-------+------+---+--------+--------------------+
|   name|gender|age|   score|             subject|
+-------+------+---+--------+--------------------+
|Natalie|     F| 16|80,72,56|English,Chinese,Math|
|  Mason|     F| 17|50,70,58|English,Chinese,Math|
|  Logan|     M| 18|82,91,88|English,Chinese,Math|
|Anthony|     F| 17|66,75,71|English,Chinese,Math|
| Joseph|     M| 16|75,80,69|English,Chinese,Math|
| Harper|     M| 15|65,65,70|English,Chinese,Math|
+-------+------+---+--------+--------------------+

将列中元素取出形成新列

df = df.withColumn('score_array',split(col('score'),','))
df = df.withColumn('English',element_at(col('score_array'),1))\
        .withColumn('Chinese',element_at(col('score_array'),2))\
        .withColumn('Math',element_at(col('score_array'),3)).select('name','gender','age','English','Chinese','Math')
df.show()

+-------+------+---+-------+-------+----+
|   name|gender|age|English|Chinese|Math|
+-------+------+---+-------+-------+----+
|Natalie|     F| 16|     80|     72|  56|
|  Mason|     F| 17|     50|     70|  58|
|  Logan|     M| 18|     82|     91|  88|
|Anthony|     F| 17|     66|     75|  71|
| Joseph|     M| 16|     75|     80|  69|
| Harper|     M| 15|     65|     65|  70|
+-------+------+---+-------+-------+----+

转成json

df.select('name','gender','age','English','Chinese', 'Math').toJSON().collect()

['{"name":"Natalie","gender":"F","age":"16","English":"80","Chinese":"72","Math":"56"}',
 '{"name":"Mason","gender":"F","age":"17","English":"50","Chinese":"70","Math":"58"}',
 '{"name":"Logan","gender":"M","age":"18","English":"82","Chinese":"91","Math":"88"}',
 '{"name":"Anthony","gender":"F","age":"17","English":"66","Chinese":"75","Math":"71"}',
 '{"name":"Joseph","gender":"M","age":"16","English":"75","Chinese":"80","Math":"69"}',
 '{"name":"Harper","gender":"M","age":"15","English":"65","Chinese":"65","Math":"70"}']

你会发现数据有一步步回到了原始状态

viziviuz
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Spark及pyspark的操作应用.pdf
12-09
Spark及pyspark的操作应用
PySpark---SparkSQL中的DataFrame(四)
XiaodunLP的博客
08-04 2638
1.replace(to_replace, value=_NoValue, subset=None) """Returns a new :class:`DataFrame` replacing a value with another value. :func:`DataFrame.replace` and :func:`DataFrameNaFunctions.replace` are al...
Apache Spark 2.4 新增内置函数和高阶函数使用介绍
javawins的专栏
01-25 602
针对数组类型的函数 array_distinct array_distinct(array<T>): array<T> ：从给定数组中删除重复值。使用如下： SELECT array_distinct(array(1, 2, 3, null, 3));   [1,2,3,null] array_intersect array_in...
【Pyspark】Dataframe添加新的一列
sunflower_sara的机器学习园地
01-19 1万+
1. lit 添加常量 字符串 若需要添加一列固定值，比如地名、邮编、标号、字符串之类的，可以直接使用lit 添加常量 Eg: 添加字符串 import pyspark.sql.functions as F d7=d61.withColumn('line_results',F.lit(string_line)) Eg: 添加常量10 from pyspark.sql.funct...
pyspark.sql.functions.lit(col)
Jaffir的博客
12-17 4928
Creates a Column of literal value df.select(lit(5).alias(‘height’)).withColumn(‘spark_user’, lit(True)).take(1) [Row(height=5, spark_user=True)]
Spark 分组聚合转Map 的方式
炼数成器
08-20 1191
Spark DateFrame分组聚合转Map 的方式 比如按照年龄分组 把相同分组的人名聚合在一列 方法一：DateFrame自带函数 import org.apache.spark.sql.functions._...
pyspark_101:于龙的关于Spark和Pyspark的说明
05-13
Pyspark 101 使用pyspark完善您的数据处理技能！ 安装 马拉松 到目前为止，此仓库包含50多个示例脚本。 本教程来自 Pyspark基本 内容编号 日期 内容 笔记 001 1/11 002 1/12 003 1/12 004 1/13 005 1/13 ...
Python学习笔记——大数据之SPARK核心
02-24
RDD（ResilientDistributedDatasets弹性分布式数据集），是spark中最重要的概念，可以简单的把RDD理解成一个提供了许多操作接口的数据集合，和一般数据集不同的是，其实际数据分布存储于一批机器中（内存或磁盘中）...
基于Python Spark的大数据分析课程.rar
06-08
给大家分享一套视频教程，名字叫：基于Python Spark的大数据分析课程，很棒的一套pyspark课程，讲师技术水平一流，课程通俗易懂，附源码和课堂笔记
pyspark-notebook：具有Docker的Pyspark笔记本
02-04
使用docker-compose运行您的docker。 它有助于将参数/设置保存在单个文件中，并在隔离的环境中一起运行。 安装docker-compose pip install - U docker - compose 开始您的应用。 运行以下命令docker-compose up -d ...
Spark学习之Pyspark数据处理
weixin_43648821的博客
05-23 481
使用Pysaprk进行数据处理 from pyspark.sql import SparkSession from pyspark.sql import Row from pyspark.sql.types import * import pyspark.sql.functions as fn import pyspark.sql.types as typ spark = SparkSession.builder.appName('my_test').getOrCreate() sc = spark.sp
pyspark Dataframe 添加新列
baidu_32109835的博客
05-09 498
如何添加一个新的列到Spark DataFrame(使用PySpark) 方法一：不能将任意列添加到Spark中的DataFrame。新列只能使用literal创建。 from pyspark.sql.functions import lit df = sqlContext.createDataFrame( [(1, "a", 23.0), (3, "B", -23.0)], ("x1", "x2", "x3")) df_with_x4 = df.withColumn("x4", lit(0)
【Python笔记】pyspark.sql.functions
西瓜太郎
06-20 4152
文章目录1 pyspark.sql.functions.abs(col)2 pyspark.sql.functions.acos(col)3 pyspark.sql.functions.add_months(start, months)4 pyspark.sql.functions.approxCountDistinct(col, rsd=None)5 pyspark.sql.functions.array(*cols)6 pyspark.sql.functions.array_contains(col,.
pyspark系列--集合操作
振裕
03-23 4386
汇总函数 1. 创建map 2. 创建列表 3. 元素存在判断 4. 数据拉直 5. posexplode 6. json操作 6.1. get_json_object 6.2. json_tuple 6.3. from_json 6.4. to_json 7. 列表排序 1. 创建map # Creates a new map column. from pyspark...
Spark踩坑日记
a18033860865的博客
01-12 920
Spark日记 一 spark-sql元数据踩坑 踩坑背景： 工作需要我一直常开一个spark-sql进程，然后做了一个需求是重刷某个表的分区数据，重刷任务是在airflow调度的，此时已经有两个spark-sql进程了，刷新完毕后在我常开的spark-sql中去访问该分区数据，报文件找不到的异常（忘记截图），这个文件在分区路径下确实不存在，但是分区下是有数据的。然后重启spark-sql，问题解决。 个人猜测 猜测是元数据引起，每个spark-sql会cache一份metadata，并且每个spark-s
python正则匹配统计_用Python正则表达式搜索统计命令行管道中的所有数字
weixin_39940344的博客
11-24 160
由于最近经常要对庞大的Android代码进行统计，于是写了一个Python脚本，可以把命令行中输出的所有管道数据中的数字找出来，并进行累加等操作，使用起来非常快捷高效。例如，我希望统计Android frameworks目录中所有java/c/cpp/h代码文件的总行数，那么可以这样：1. 用find命令搜索出所有代码文件：find ./frameworks -iname "*.java" -o ...
python如何提取tuple类型值中json格式的key值
在路上
08-27 6757
标题比较麻烦，都有些叙述不清；今下午在调试接口框架的时候，遇到了一个问题是这样的： 使用python 写了一个函数，return 了两个返回值比如 return a,b 于是返回的a，b 是tuple类型，比如值是actual。那么，得到a，b分别是actual[0] ,actual[1]这样的。而目前，actual[0]的值是这样的: {“code”:”m0001”,”result”:
pyspark dataframe列的合并与拆分
热门推荐
intersting的博客
11-25 3万+
使用Spark SQL在对数据进行处理的过程中，可能会遇到对一列数据拆分为多列，或者把多列数据合并为一列。这里记录一下目前想到的对DataFrame列数据进行合并和拆分的几种方法。 from pyspark.sql import SparkSession spark = SparkSession.builder \ .master("local") \ .appName("da...
spark- PySparkSQL之PySpark解析Json集合数据
weixin_33901926的博客
06-27 1970
PySparkSQL之PySpark解析Json集合数据 数据样本 12341234123412342|asefr-3423|[{"name":"spark","score":"65"},{"name":"airlow","score":"70"},{"name":"flume","score":"55"},{"name":"python","score":"33"},{"name":"s...
【spark学习笔记】spark访问hdfs
最新发布
03-16
from pyspark import SparkContext sc = SparkContext("local", "HDFS Access Example") data = sc.textFile("hdfs://localhost:9000/path/to/file") ``` 其中，`SparkContext`是Spark的入口点，`"local"`表示在...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

viziviuz

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值