PySpark数据计算中常用的成员方法（算子）

最新推荐文章于 2024-06-02 16:55:34 发布
最新推荐文章于 2024-06-02 16:55:34 发布
阅读量943 收藏 5
点赞数 2
文章标签： 大数据 pyspark pyspark内置方法（算子） spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_63318044/article/details/128670096
版权
本文介绍了PySpark中RDD对象的基本概念和重要算子，如map、flatMap、reduceByKey、filter、distinct和sortBy的使用方法及示例，还提供了两个实际操作案例，包括单词计数和销售数据分析。
摘要由CSDN通过智能技术生成

目录

一.回顾

二.数据计算

map算子

 演示

 flatMap算子

 演示

 reduceByKey算子

 演示

 练习案例1

需求

 解决步骤

完整代码

filter算子

 演示

distinct算子

 演示

 sortBy算子

 演示

 练习案例2

解决步骤

完整代码

三.总结

一.回顾

 1.RDD对象是什么?为什么要使用它?
RDD对象称之为分布式弹性数据集，是PySpark中数据计算的载体，它可以:

  • 提供数据存储
  • 提供数据计算的各类方法
  • 数据计算的方法，返回值依旧是RDD (RDD迭代计算)

后续对数据进行各类计算,都是基于RDD对象进行

2.如何输入数据到Spark(即得到RDD对象)

  • 通过SparkContext的parallelize成员方法，将Python数据容器转换为RDD对象
  • 通过SparkContext的textFile成员方法，读取文本文件得到RDD对象

二.数据计算

PySpark的数据计算,都是基于RDD对象来进行的,那么如何进行呢?自然是依赖，RDD对象内置丰富的:成员方法(算子)

介绍几种常见的成员方法（算子）如下：

  1. map方法
  2. flatmap方法
  3. reduceByKey方法
  4. filter方法
  5. distinct方法
  6. sortBy方法

map算子

功能: map算子,是将RDD的数据一条条处理(处理的逻辑基于map算子中接收的处理函数),返回新的RDD
语法:

 演示

这样运行会报错，这是因为 Spark 中支持环境变量，设置一个环境变量明确告诉他，python在哪就可以了。

 如上图，告诉spark运行时，在哪找到python解释器就行，

 打开设置你就可以看到你的python解释器的路径，然后导入os包，设置环境就行

代码如下

#导包
from pyspark import  SparkConf,SparkContext
import os
os.environ['PYSPARK_PYTHON']="C:/Users/hawa/AppData/Local/Programs/Python/Python39/python.exe"

#创建SparkConf类对象
conf=SparkConf().setMaster("local[*]").setAppName("test_spark")
#基于SparkConf类对象创建SparkContext对象
sc=SparkContext(conf=conf)

rdd=sc.parallelize([1,2,3,4,5])

def func(data):
    return data*10
rdd2=rdd.map(func)

print(rdd2.collect())

这里的函数定义，我们可以用匿名函数（lambda）更简洁

#导包
from pyspark import  SparkConf,SparkContext
import os
os.environ['PYSPARK_PYTHON']="C:/Users/hawa/AppData/Local/Programs/Python/Python39/python.exe"

#创建SparkConf类对象
conf=SparkConf().setMaster("local[*]").setAppName("test_spark")
#基于SparkConf类对象创建SparkContext对象
sc=SparkContext(conf=conf)

rdd=sc.parallelize([1,2,3,4,5])

# def func(data):
#     return data*10
rdd2=rdd.map(lambda x:x*10)

print(rdd2.collect())

各算子之间还可以进行链式调用

 flatMap算子

功能:对rdd执行map操作,然后进行解除嵌套操作.

解除嵌套：

 演示代码

 演示

我们先用map试试看是什么结果

 我们可以看到没有解除嵌套
再用flatMap试试
 

#导包
from pyspark import  SparkConf,SparkContext
import os
os.environ['PYSPARK_PYTHON']="C:/Users/hawa/AppData/Local/Programs/Python/Python39/python.exe"

#创建SparkConf类对象
conf=SparkConf().setMaster("local[*]").setAppName("test_spark")
#基于SparkConf类对象创建SparkContext对象
sc=SparkContext(conf=conf)
#准备一个RDD
rdd=sc.parallelize(["asdf 3rwe dff","sdf 3er gwet","q3w dg xgwe"])
#需求：把RDD数据里面的一个个单词提取出来
rdd2=rdd.flatMap(lambda x:x.split(" "))

print(rdd2.collect())

 结果是

 reduceByKey算子

功能:针对KV型RDD,自动按照key分组,然后根据你提供的聚合逻辑,完成组内数据(value)的聚合操作。

用法

 演示代码

 注意: reduceByKey中接收的函数,只负责聚合,不理会分组
分组是自动by key来分组的.

reduceBeKey中的聚合逻辑是:

 演示

#导包
from pyspark import  SparkConf,SparkContext
import os
os.environ['PYSPARK_PYTHON']="C:/Users/hawa/AppData/Local/Programs/Python/Python39/python.exe"

#创建SparkConf类对象
conf=SparkConf().setMaster("local[*]").setAppName("test_spark")
#基于SparkConf类对象创建SparkContext对象
sc=SparkContext(conf=conf)
#准备一个RDD
rdd=sc.parallelize([("男",99),("男",88),("女",78),("女",100)])
#需求：分别求出男女的成绩之和
rdd2=rdd.reduceByKey(lambda x,y:x+y)
print(rdd2.collect())

结果是

 练习案例1

需求

读取文件，统计文件中各单词出现的次数

演示代码

 解决步骤

1.用textFile读取文本文件

 2.用flatMap把读取到的单词都一一提取出来

 3.用map将所有单词都转换为二元元组,单词为key,value设置为1

 4.用reduceByKey进行分组并求和

 这样就完成了需求

完整代码

#导包
from pyspark import  SparkConf,SparkContext
import os
os.environ['PYSPARK_PYTHON']="C:/Users/hawa/AppData/Local/Programs/Python/Python39/python.exe"

#创建SparkConf类对象
conf=SparkConf().setMaster("local[*]").setAppName("test_spark")
#基于SparkConf类对象创建SparkContext对象
sc=SparkContext(conf=conf)
#准备一个RDD读取数据
rdd=sc.textFile("D:/hello.txt")
#取出所有单词
rdd2=rdd.flatMap(lambda x:x.split(" "))
#将所有单词都转换为二元元组，单词为key，value设置为1
word_with_one_rdd=rdd2.map(lambda x:(x,1))
#分组并求和
result_rdd=word_with_one_rdd.reduceByKey(lambda x,y:x+y)
print(result_rdd.collect())

filter算子

功能:过滤想要的数据进行保留

语法:

 演示代码

 演示

#导包
from pyspark import  SparkConf,SparkContext
import os
os.environ['PYSPARK_PYTHON']="C:/Users/hawa/AppData/Local/Programs/Python/Python39/python.exe"

#创建SparkConf类对象
conf=SparkConf().setMaster("local[*]").setAppName("text_spark")
#基于SparkConf类对象创建SparkContext对象
sc=SparkContext(conf=conf)
#创建RDD对象
rdd=sc.parallelize([1,2,3,4,5,6,7,8])

rdd2=rdd.filter(lambda x:x%2==0)
print(rdd2.collect())

结果是

distinct算子

功能:对RDD数据进行去重,返回新RDD
语法:rdd.distinct()无需传参

演示代码

 演示

#导包
from pyspark import  SparkConf,SparkContext
import os
os.environ['PYSPARK_PYTHON']="C:/Users/hawa/AppData/Local/Programs/Python/Python39/python.exe"

#创建SparkConf类对象
conf=SparkConf().setMaster("local[*]").setAppName("text_spark")
#基于SparkConf类对象创建SparkContext对象
sc=SparkContext(conf=conf)
#创建RDD对象
rdd=sc.parallelize([1,1,1,2,3,3,3,5,4,6,6,6])

rdd2=rdd.distinct()
print(rdd2.collect())

结果是

 sortBy算子

功能:对RDD数据进行排序,基于你指定的排序依据
语法:

 演示

就用上面那个练习，把输出的单词个数进行排序

#导包
from pyspark import  SparkConf,SparkContext
import os
os.environ['PYSPARK_PYTHON']="C:/Users/hawa/AppData/Local/Programs/Python/Python39/python.exe"

#创建SparkConf类对象
conf=SparkConf().setMaster("local[*]").setAppName("test_spark")
#基于SparkConf类对象创建SparkContext对象
sc=SparkContext(conf=conf)
#准备一个RDD读取数据
rdd=sc.textFile("D:/hello.txt")
#取出所有单词
rdd2=rdd.flatMap(lambda x:x.split(" "))
#将所有单词都转换为二元元组，单词为key，value设置为1
word_with_one_rdd=rdd2.map(lambda x:(x,1))
#分组并求和
result_rdd=word_with_one_rdd.reduceByKey(lambda x,y:x+y)
#对结果进行排序，降序输出
final_rdd=result_rdd.sortBy(lambda x:x[1],ascending=False,numPartitions=1)
print(final_rdd.collect())

结果是

 练习案例2

 需求：复制以上内容到文件中，使用Spark读取文件进行计算:

  1. 各个城市销售额排名，从大到小
  2. 全部城市,有哪些商品类别在售卖
  3. 北京市有哪些商品类别在售卖

 这文件里面的json数据，每一条数据都有‘|’这样一个分隔，所以到时候要用split先分开，再把json数据转为python中的字典

解决步骤

1.先用split取出一个个json字符串

 2.把取出来的json字符串转为字典

3.需求1：城市销售额排名。做二元元组（城市，销售额），然后分组聚合，排序

 4.需求2：全部城市有哪些商品在售卖。先用map把每条数据的“category”提取出来，再用distinct去重

5.需求3：北京市有哪些商品在售卖。先用filter过滤出北京的所有数据，再用map得到北京中的所有“category”再用distinct去重

完整代码

#导包
from pyspark import  SparkConf,SparkContext
import os
os.environ['PYSPARK_PYTHON']="C:/Users/hawa/AppData/Local/Programs/Python/Python39/python.exe"
import json

#创建SparkConf类对象
conf=SparkConf().setMaster("local[*]").setAppName("test_spark")
#基于SparkConf类对象创建SparkContext对象
sc=SparkContext(conf=conf)
#准备一个RDD读取数据
rdd=sc.textFile("D:/orders.txt")
#需求1：城市销售额排名
#取出一个个json字符串
json_str_rdd=rdd.flatMap(lambda x:x.split("|"))
# 把json转换为字典
dict_rdd=json_str_rdd.map(lambda x:json.loads(x))
#取出城市、销售额作为二元元组（城市，销售额）
city_with_money_rdd=dict_rdd.map(lambda x:(x["areaName"],int(x["money"])))
#按城市分组，并把销售额加起来
city_result_rdd=city_with_money_rdd.reduceByKey(lambda x,y:x+y)
#按销售额聚合结果排序
reslut1_rdd=city_result_rdd.sortBy(lambda x:x[1],ascending=False,numPartitions=1)
print("需求1的结果是：",reslut1_rdd.collect())

#需求2：全部城市有哪些商品在售卖
category_rdd=dict_rdd.map(lambda x:x["category"]).distinct()
print("需求2的结果是：",category_rdd.collect())
#需求3：北京市有那些商品在售卖
#先选出北京市的数据
beijing_data_rdd=dict_rdd.filter(lambda x:x["areaName"]=="北京")
#取出全部商品
result3_rdd=beijing_data_rdd.map(lambda x:x["category"]).distinct()
print("需求3的结果是：",result3_rdd.collect())

三.总结

1. map算子(成员方法)

  • 接受一个处理函数，可用lambda表达式快速编写
  • 对RDD内的元素逐个处理,并返回一个新的RDD

2.链式调用
对于返回值是新RDD的算子，可以通过链式调用的方式多次调用算子。

3.flatMap算子

  • 计算逻辑和map一样
  • 可以比map多出解除一层嵌套的功能

4.reduceByKey算子

  • 接受一个处理函数，对数据进行两两计算

5.filter算子

  • 接受一个处理函数，可用lambda快速编写
  • 函数对RDD数据逐个处理,得到True的保留至返回值的RDD中

6.sortBy算子

  • 接收一个处理函数，可用lambda快速编写
  • 函数表示用来决定排序的依据
  • 可以控制升序或降序
  • 全局排序需要设置分区数为1

7.distinct算子

  • 完成对RDD内数据的去重操作

 

阳862
关注
pyspark实现iv特征筛选
weixin_41317362的博客
08-14 3756
特征筛选和iv值 特征筛选 在实际的工程建模中，有时会引入大量的特征，以便可以从更多角度来刻画特征。但是当特征太多时，难免会引入一些无效特征。无效特征不仅会给模型带来噪音，并且还会增加模型的训练难度。因此在建模之前常常有必要进行一个初步的特征筛选，以便过滤掉那些无用特征。 iv值 iv值全称是information value。通过计算不同特征的iv值，可以来判断不同特征的重要程度...
PySpark库的安装和一些方法
m0_68794863的博客
09-07 354
PySpark支持通过SparkContext对象的parallelize成员方法，将list，tuple，set，dict，str。功能：将RDD各个分区内的数据，统一收集到Driver中，形成一个List对象。函数对RDD数据逐个处理，得到True的保留至返回值的RDD中。RDD，自动按照key分组，然后根据你提供的聚合逻辑，完成。返回是True的数据被保留，False的数据被丢弃。1、字符串会被拆分出1个个的字符，存入RDD对象。功能：对RDD数据进行排序，基于你指定的排序依据。
pyspark的常用算子
Dgx的博客
05-21 2064
本文通过pyspark(基于python)演示spark常用算子 官方文档上列举共有32种常见算子，包括Transformation的20种操作和Action的12种操作。 Transformation： 1.map map的输入变换函数应用于RDD中所有元素 #演示rdd rdd=sc.parallelize(range(0,10)) rdd.collect() 输出: [0, 1, 2, 3, 4, 5, 6, 7, 8, 9] rdd.map(lambda x:x+1).collect() 输出:[
PySpark 基础之 Transformation算子和Action算子
不忘初欣丶的博客
04-05 913
spark算子，常用的transformation算子和action算子
pyspark常用算子总结
jp_666的博客
09-23 284
7. pyspark中的DataFrame对一列分组统计数量，并添加到原来的dataframe，示例代码。12. 打印pyspark中dataframe中列的数据类型和列名，示例代码1。10. 打印pyspark中的dataframe的某一列的纯文本值，示例代码。1. pyspark中时间格式的数据转换为字符串格式的时间，示例代码。9. pyspark中的dataframe取前n行，示例代码。4. pyspark中选择其中一列不是空的行，示例代码。3. pyspark中选择其中一些列，示例代码。
PySpark算子处理空间数据全解析（2）： 啥是算子（2）
01-30 369
上篇文章说到，算子实际上就是一种操作，在计算机里面就是一个函数，这篇文章说说Spark里面的算子的分类：Spark里面的算子一共有两种，一种称之为Tranformati...
spark 算子使用类变量_《Spark 官方文档》Spark编程指南
weixin_36204992的博客
12-23 312
概述总体上来说，每个Spark应用都包含一个驱动器(driver)程序，驱动器运行用户的main函数，并在集群上执行各种并行操作。Spark最重要的一个抽象概念就是弹性分布式数据集(resilient distributed dataset – RDD)，RDD是一个可分区的元素集合，其包含的元素可以分布在集群各个节点上，并且可以执行一些分布式并行操作。RDD通常是通过，HDFS(或者其他Hado...
spark算子实战（三）
moledyzhang的博客
12-27 519
这篇文章将继续介绍spark算子之Actions算子。Actions算子 算子 说明 foreach 对RDD中的每个元素应用f函数。 saveAsTextFile 将RDD保存为文本文件。路径path可以是本地路径或HDFS地址，保存方法是对RDD成员调用toString函数。 saveAsObjectFile 用于将RDD中的元素序列化成对象，存储到文件中。对于HD
PySpark 数据操作
qq1226546902的博客
08-01 383
1. RDD对象是什么？为什么要使用它？提供数据存储提供数据计算的各类方法数据计算的方法，返回值依旧是RDD（RDD迭代计算）后续对数据进行各类计算，都是基于RDD对象进行2. 如何输入数据到Spark（即得到RDD对象）通过SparkContext的parallelize成员方法，将Python数据容器转换为RDD对象通过SparkContext的textFile成员方法，读取文本文件得到RDD对象1. map算子（成员方法）接受一个处理函数，可用lambda表达式快速编写。
Spark算子使用示例
热门推荐
梓纾的专栏
11-05 1万+
1. 算子分类从大方向来说，Spark 算子大致可以分为以下两类 Transformation：操作是延迟计算的，也就是说从一个RDD 转换生成另一个 RDD 的转换操作不是马上执行，需要等到有 Action 操作的时候才会真正触发运算。 Action：会触发 Spark 提交作业（Job），并将数据输出 Spark系统。 从小方向来说，Spark 算子大致可以分为以下三类: Value数据类型的T
PySpark算子处理空间数据全解析（5）： 如何在PySpark里面使用空间运算接口
02-22 490
park是分布式计算的，PySpark实际上是用Python调用了Spark的底层框架，那么这些个框架是如何调用的呢？上一篇说了一下Python里面利用GDAL包实现的空...
自用 云计算 | pyspark | 常见RDD算子及例子（云计算期末）
最新发布
2401_83977996的博客
06-02 1211
大学生期末复习主要包括云计算基本的概念常见的pyspark算子于对应的例子定义：云计算是一种通过互联网提供计算服务的技术。相比于传统计算，它的资源获取方式，从“买”变为“租”资源池化弹性伸缩安全可靠定义 ：RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，代表一个不可变、可分区、里面的元素可并行计算的集合。RDD由一系列的分区组成RDD的方法会作用在其所有的分区上RDD之间是有依赖关系(RDD有血缘关系)
pyspark --Action算子
qq_35482604的博客
01-25 1039
countByKey
2023-3-12：PySpark常用数据计算算子
u012951679的博客
03-12 416
PySpark常用数据计算算子
pyspark 浅析
rav009的专栏
07-16 1556
Spark的scala也好, 还是pyspark也好, 它们的编程思想都是函数式编程, 关于函数式编程的解析可以看这篇文章: http://www.ruanyifeng.com/blog/2012/04/functional_programming.html 函数式编程只是返回新的值, 不修改原有的值, 所以在对RDD操作时一定要注意, 不要用对RDD操作以后, 引用了老的变量. impo...
PySpark(二）RDD 常见算子及RDD运行model
HouLei
08-20 1377
五、RDD 常见算子 transformation: RDDA ====》 RDDB 的中间过程为transformation 例如，map是一个转换，它通过一个函数传递每个数据集元素，并返回一个表示结果的新RDD 特点：Spark中的所有转换都是惰性的，因为它们不会立即计算结果。相反，他们只记得应用于某些基础数据集的转换（例如文件）。仅当操作需要将结果返回到驱动程序时才会计算转换。这种设计使S...
pyspark dataframe数据分析常用算子
JiaJia的博客
02-22 3172
不断更新 1.filter （1）单条件过滤 data = df.filter(df['age'] == 20)) 或者 data = df.filter('age = 20') （2）多条件过滤 data = df.filter((df['age'] == 20) | (df['gender'] == 'male')) ...
PySpark算子处理空间数据全解析（4）： 先说说空间运算
02-18 562
在PySpark中要处理空间数据，就先得说说空间运算的问题。空间运算就是空间数据之间的运算规则，比如两个面相交：此类计算，一般会有两种情况，一种是判断，是否相交；另外一种...
PySpark基础入门（2）：RDD及其常用算子
WHY的博客
05-02 1522
PySpark基础入门第二篇，主要介绍了RDD的基础内容以及常用算子，包括transformation算子，action算子以及一些分区操作算子
pyspark的reducebykey算子的底层原理和使用方法
07-14
reduceByKey算子是Spark中的一个转换操作，它用于按照键对数据进行分组，并对每个键的值进行聚合操作。其底层原理是通过将相同键的值进行合并，然后对合并后的值进行聚合操作。 使用方法如下： 1. 创建一个包含键值对的RDD。 2. 使用reduceByKey方法对RDD进行转换，传入一个聚合函数作为参数。 3. 聚合函数将应用于相同键的值，返回一个单个的聚合结果。 4. 返回一个包含聚合结果的新RDD。 示例代码如下： ```python from pyspark import SparkContext # 创建SparkContext对象 sc = SparkContext("local", "reduceByKeyExample") # 创建一个包含键值对的RDD data = [("apple", 1), ("banana", 2), ("apple", 3), ("banana", 4), ("orange", 5)] rdd = sc.parallelize(data) # 使用reduceByKey方法进行转换 result = rdd.reduceByKey(lambda a, b: a + b) # 输出结果 result.foreach(print) ``` 运行结果： ``` ('apple', 4) ('banana', 6) ('orange', 5) ``` 在上述示例中，reduceByKey将相同键的值进行合并，并对合并后的值进行求和操作。最终返回一个包含聚合结果的新RDD。 需要注意的是，reduceByKey算子是按照键进行分组和聚合操作的，因此在使用时需要确保数据中包含键值对。另外，reduceByKey是一个宽依赖算子，会导致Shuffle操作，因此在大规模数据集上使用时需要注意性能问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

阳862

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值