Python入门（3）——第三阶段：PySpark案例实战（更新中）

已于 2024-09-19 00:05:34 修改
阅读量442 收藏 4
点赞数 4
分类专栏： Python入门学习 文章标签： python 开发语言
于 2024-09-17 01:57:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_62685174/article/details/142308362
版权

Python入门（1）：Python入门（1）：第一阶段_python最新的解释器-CSDN博客

Python入门（2）：Python入门（2）：第二阶段——面向对象-CSDN博客

 Python入门（3）：Python入门（3）——第三阶段：PySpark案例实战（更新中）-CSDN博客

-- 第三阶段 --

一、 基础准备

1.什么是PySpark

Spark定义：Apache Spark是用于大规模数据处理的统一分析引擎

Spark对Python语言的支持,重点体现在,Python第三方库:PySpark之上。

PySpark是由Spark官方开发的Python语言第三方库。

2.pyspark库的安装

在“CDM”命令提示符内输入：pip install pyspark

或者使用国内代理镜像网站（清华大学源）：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pyspark

3.构建PySpark执行环境入口对象 

PySpark执行环境入口对象是：类SparkContext的类对象

from pyspark import SparkConf,SparkContext
#创建SparkConf对象
conf = SparkConf().setMaster("local[*]").setAppName("test_spark_app")
#基于SparkConf类对象创建SparkContext对象  （sc是后续重要对象）
sc = SparkContext(conf=conf)
#打印PySpark的运行版本
print(sc.version)
#停止SparkContext对象的运行（停止PySpark程序）
sc.stop()

打印PySpark的运行版本结果：

4.Pyspark的编程模型

SparkContext类对象,是PySpark编程中一切功能的入口。

PySpark的编程,主要分为如下三大步骤:

  • 数据输入
    • 通过SparkContext类对象的成员方法，完成数据的读取操作，读取后得到RDD类对象
  • 数据处理计算
    • 通过RDD类对象的成员方法，完成各种数据计算的需求
  • 数据输出
    • 将处理完成后的RDD对象，调用各种成员方法，完成写出文件、转换为list等操作

二、数据输入

1.RDD对象

PySpark支持多种数据的输入，在输入完成后，都会得到一个:RDD类的对象
RDD全称为：弹性分布式数据集(Resilient Distributed Datasets)

PySpark针对数据的处理，都是以RDD对象作为载体，,即：

  • 数据存储在RDD内
  • 各类数据的计算方法,也都是RDD的成员方法
  • RDD的数据计算方法,返回值依旧是RDD对象

2.Python数据容器转RDD对象

PySpark支持通过SparkContext对象的paralielize成员方法，将：list、tuple、set、dict、str转换为PySpark的RDD对象。

from pyspark import  SparkConf,SparkContext

conf = SparkConf().setMaster("local[*]").setAppName("test_spark")
sc = SparkContext(conf=conf)

#通过parallelize方法将Python对象加载到Spark内，成为RDD对象
rdd1 = sc.parallelize([1,2,3,4,5])
rdd2 = sc.parallelize((1,2,3,4,5))
rdd3 = sc.parallelize("abcdefg")
rdd4 = sc.parallelize({1,2,3,4,5})
rdd5 = sc.parallelize({"key1":"value1","key2":"value2"})

#如果要查看RDD里面有什么内容，需要有collect()方法
print(rdd1.collect())
print(rdd2.collect())
print(rdd3.collect())
print(rdd4.collect())
print(rdd5.collect())

sc.stop()
#输出结果：
[1, 2, 3, 4, 5]
[1, 2, 3, 4, 5]
['a', 'b', 'c', 'd', 'e', 'f', 'g']
[1, 2, 3, 4, 5]
['key1', 'key2']

3.读取文件转RDD对象

PySpark也支持通过SparkContext入口对象，来读取文件，来构建出RDD对象。

在D盘准备一个test.txt内容如下：

from pyspark import SparkConf,SparkContext

conf = SparkConf().setMaster("local[*]").setAppName("test_spark")
sc = SparkContext(conf=conf)

#用textFile方法，读取文件数据加载到Spark内，成为RDD对象
rdd = sc.textFile("D:/test.txt")          #文件存放的路径要写对，不然会报错
print(rdd.collect())

sc.stop()
#输出结果：
['hello', '666', 'spark', 'python', 'pyspark']

三、数据计算

1.map方法

功能：map算子，是将RDD的数据一条条处理（处理的逻辑 基于map算子中接收的处理函数），返回新的RDD。

链式调用：可多次调用算子

语法：

from pyspark import SparkConf,SparkContext
import  os
os.environ["PYSPARK_PYTHON"] = "D:/Python/Python31011/python.exe"  #python解释器的位置

conf = SparkConf().setMaster("local[*]").setAppName("test_spark")
sc = SparkContext(conf=conf)

#准备一个RDD
rdd = sc.parallelize([1,2,3,4,5])
# #通过map方法将全部数据都乘以10（简单函数可以使用lambda）
# def func(data):
#     return data * 10

#链式调用
rdd2 = rdd.map(lambda x : x * 10).map(lambda x : x + 5).map(lambda x : x - 2)

print(rdd2.collect())
#(T) -> U 接收一个传入参数，有一个返回值（对于参数和返回值的类型没有要求）
#(T) -> T 接收一个传入参数，有一个返回值（传入参数和返回值的类型要一致）

sc.stop()

#输出结果：
[13, 23, 33, 43, 53]

注意：Python3.12.5执行以上代码会报错，需要安装低版本的，比如Python3.10.11，再次执行则成功打印结果。

2.flatMap方法

功能：对RDD执行map操作，然后进行解除嵌套操作。

from pyspark import SparkConf,SparkContext
import  os
os.environ["PYSPARK_PYTHON"] = "D:/Python/Python31011/python.exe"  #python解释器的位置

conf = SparkConf().setMaster("local[*]").setAppName("test_spark")
sc = SparkContext(conf=conf)
#准备一个RDD
rdd = sc.parallelize(["hello world","Happy Mid-Autumn Festival","nice to meet you"])
#需求：将RDD数据里面的一个个单词提取出来
rdd2 = rdd.flatMap(lambda x : x.split(" "))
print(rdd2.collect()) 

#输出结果：
['hello', 'world', 'Happy', 'Mid-Autumn', 'Festival', 'nice', 'to', 'meet', 'you']

3.reduceByKey方法

功能：针对KV型RDD，自动按照key分组，然后根据你提供的聚合逻辑，完成组内数据（value）的聚合操作。

KV型：二元元组

#用法：
rdd.reduceByKey(func)
#func:(V,V)->V
#接受2个传入参数（类型要一致），返回一个返回值，类型与传入要求一致

注意：reduceByKey中接收的函数，只负责聚合，不理会分组

分组是自动by key来分组的。 

from pyspark import SparkConf,SparkContext
import  os
os.environ["PYSPARK_PYTHON"] = "D:/Python/Python31011/python.exe"  #python解释器的位置
conf = SparkConf().setMaster("local[*]").setAppName("test_spark")
sc = SparkContext(conf=conf)
#准备一个RDD
rdd = sc.parallelize([('男',99),('男',22),('女',66),('女',88)])
# 求男生和女生两个组的成绩之和
rdd2 = rdd.reduceByKey(lambda a,b:a+b)
print(rdd2.collect())

#输出结果：
[('男', 121), ('女', 154)]

4.练习案例：单词计数

要求：读取文件，统计文件内，单词的出现量

文件内容如下：

# 1.构建执行环境入口对象
from pyspark import SparkConf,SparkContext
import  os
os.environ["PYSPARK_PYTHON"] = "D:/Python/Python31011/python.exe"  #python解释器的位置
conf = SparkConf().setMaster("local[*]").setAppName("test_spark")
sc = SparkContext(conf=conf)
# 2.读取数据文件
rdd = sc.textFile("D:/test.txt")
# 3.取出所有单词
word_rdd = rdd.flatMap(lambda x : x.split(" "))
# 4.将所有单词都转换成二元元组，单词为Key，Value设置为1
word_with_one_rdd = word_rdd.map(lambda x : (x, 1))
# 5.分组求和
result_rdd = word_with_one_rdd.reduceByKey(lambda a, b: a + b)
print(result_rdd.collect())

#输出结果：
[('nihao', 4), ('python', 3), ('hello', 6), ('spark', 5), ('pyspark', 3)]

5.filter方法

功能：过滤想要的数据进行保留。

True的数据保留，False的丢弃

语法：

#语法：
rdd.filter(func)
#func:(T) -> bool 传入1个参数进来随意类型，返回值必须是True or False
from pyspark import SparkConf,SparkContext
import  os
os.environ["PYSPARK_PYTHON"] = "D:/Python/Python31011/python.exe"  #python解释器的位置
conf = SparkConf().setMaster("local[*]").setAppName("test_spark")
sc = SparkContext(conf=conf)
#准备一个RDD
rdd = sc.parallelize([1,2,3,4,5])
#对RDD数据进行过滤,保留偶数
rdd2 = rdd.filter(lambda num: num% 2 == 0)
print(rdd2.collect())
#输出结果：
[2, 4]

6.distinct方法

功能：对RDD数据进行去重，返回新RDD

#语法
rdd.distinct()  无需传参
from pyspark import SparkConf,SparkContext
import  os
os.environ["PYSPARK_PYTHON"] = "D:/Python/Python31011/python.exe"  #python解释器的位置
conf = SparkConf().setMaster("local[*]").setAppName("test_spark")
sc = SparkContext(conf=conf)

#准备一个RDD
rdd = sc.parallelize([1,1,1,2,2,3,4,5,5,5,5,6,8,8])
#对RDD数据进行去重
rdd2 = rdd.distinct()
print(rdd2.collect())
#输出结果：
[1, 2, 3, 4, 5, 6, 8]

7.sortBy方法

功能：对RDD数据进行排序，基于你指定的排序依据。

#语法
rdd.sortBy(func, ascending=False, numPartitions= 1)
#func: (T) -> U：告知按照RDD中的哪个数据进行排序，比如lambda x： x[1]表示按照RDD中的第二列元素进行排序
#ascending：True升序  False降序
#numPartitions：用多少分区排序
# 构建执行环境入口对象
from pyspark import SparkConf,SparkContext
import  os
os.environ["PYSPARK_PYTHON"] = "D:/Python/Python31011/python.exe"  #python解释器的位置
conf = SparkConf().setMaster("local[*]").setAppName("test_spark")
sc = SparkContext(conf=conf)

# 1.读取数据文件
rdd = sc.textFile("D:/test.txt")
# 2.取出所有单词
word_rdd = rdd.flatMap(lambda x : x.split(" "))
# 3.将所有单词都转换成二元元组，单词为Key，Value设置为1
word_with_one_rdd = word_rdd.map(lambda x : (x, 1))
# 4.分组求和
result_rdd = word_with_one_rdd.reduceByKey(lambda a, b: a + b)
#到这里是上一个案例（单词计数）的代码，结果为[('nihao', 4), ('python', 3), ('hello', 6), ('spark', 5), ('pyspark', 3)]

# 5.对结果进行降序排序
final_rdd = result_rdd.sortBy(lambda x: x[1],ascending=False,numPartitions=1)
print(final_rdd.collect())

#输出结果：
[('hello', 6), ('spark', 5), ('nihao', 4), ('python', 3), ('pyspark', 3)]

8.练习案例

需求，复制以上内容到文件中，使用Spark读取文件进行计算:

  • 各个城市销售额排名，从大到小
  • 全部城市，有哪些商品类别在售卖
  • 北京市有哪些商品类别在售卖
# 构建执行环境入口对象
from pyspark import SparkConf,SparkContext
import  os
import json
os.environ["PYSPARK_PYTHON"] = "D:/Python/Python31011/python.exe"  #python解释器的位置
conf = SparkConf().setMaster("local[*]").setAppName("test_spark")
sc = SparkContext(conf=conf)

# 读取数据文件得到RDD
file_rdd = sc.textFile("D:/orders.txt")
# 取出一个个JSON字符串
json_str_rdd = file_rdd.flatMap(lambda x : x.split("|"))
# 将所有一个个JSON字符串单转换成字典
dict_rdd =json_str_rdd.map(lambda x: json.loads(x))

# TODO 需求1：城市销售额排名
# 1.1取出城市和销售额数据
#(城市,销售额)
city_with_money_rdd = dict_rdd.map(lambda x: (x['areaName'],int (x['money'])))
# 1.2按城市分组，按销售额聚合
city_result_rdd = city_with_money_rdd.reduceByKey(lambda a, b: a+ b)
# 1.3 按销售额聚合结果进行排序
result1_rdd = city_result_rdd.sortBy(lambda x: x[1],ascending=False,numPartitions=1)
print("需求1的结果是：",result1_rdd.collect())

# TODO 需求2：全部城市，有哪些商品类别在售卖
# 2.1 取出全部的商品类别并去重
category_rdd = dict_rdd.map(lambda x: x["category"]).distinct()
print("需求2的结果是：",category_rdd.collect())

# TODO 需求3：北京市有哪些商品类别在售卖
# 3.1 过滤北京市的数据
beijing_data_rdd = dict_rdd.filter(lambda x: x["areaName"] =="北京")
# 3.2 取出全部商品类别
result3_rdd = beijing_data_rdd.map(lambda x: x["category"]).distinct()
print("需求3的结果是：",result3_rdd.collect())

#输出结果：
需求1的结果是： [('北京', 91556), ('杭州', 28831), ('天津', 12260), ('上海', 1513), ('郑州', 1120)]
需求2的结果是： ['平板电脑', '家电', '书籍', '手机', '电脑', '家具', '食品', '服饰']
需求3的结果是： ['平板电脑', '家电', '书籍', '手机', '电脑', '家具', '食品', '服饰']

四、数据输出

1.RDD输出为Python对象

collect算子

功能：将RDD各个分区内的数据，统一收集到Driver中，形成一个List对象。

#用法
rdd.collect()
#返回值是一个list

reduce算子

功能：对RDD数据集按照你传入的逻辑进行聚合。

#语法：
rdd.reduce(func)
#func: (T, T) -> T
#2参数传入 1个返回值，返回值和参数要求类型一致

take算子

功能：取RDD的前N个元素，组合成list返回给你。

count算子

功能：计数RDD有多少条数据，返回值是一个数字

collect、reduce、take、count代码示例

#collect、reduce、take、count代码示例

from pyspark import SparkConf,SparkContext
import  os
os.environ["PYSPARK_PYTHON"] = "D:/Python/Python31011/python.exe"  #python解释器的位置

conf = SparkConf().setMaster("local[*]").setAppName("test_spark")
sc = SparkContext(conf=conf)

#准备一个RDD
rdd = sc.parallelize([1,2,3,4,5])

#collect算子，输出为List对象
rdd_list: list = rdd.collect()
print(rdd_list)
print(type(rdd_list))

#reduce算子，对RDD进行两两聚合
num = rdd.reduce(lambda a, b: a+ b)
print(num)

#take算子，取RDD的前N个元素，组成list返回
take_list = rdd.take(3)
print(take_list)

#count算子，计数RDD有多少条数据，返回值是一个数字
num_count = rdd.count()
print(f"rdd内有{num_count}个元素")

sc.stop()

#输出结果：
[1, 2, 3, 4, 5]
<class 'list'>
15
[1, 2, 3]
rdd内有5个元素

2.输出到文件中

saveAsTextFile算子

功能：将RDD的数据写入文本文件中。

支持本地写出，hdfs等文件系统。

你怎么还不学
关注
专栏目录
2022-02-09大数据学习日志——PySpark——Spark框架概述
tingbaobaoo的博客
02-09 1653
前言部分：知识回顾及课程目标 [前言1]-大数据技术框架 整个大数据技术框架学习，可以划分为4个阶段：离线分析、内存分析、实时存储和实时分析。 # 第1部分、离线分析（Batch Processing） 分布式协作服务框架Zookeeper 大数据基础框架Hadoop（HDFS、MapReduce和YARN） 大数据数仓框架Hive 大数据辅助框架：FLUME、SQOOP、Oozie和Hue # 实战项目：亿品新零售 # 第2部分、内存分析（In-Memory Processing）
Python学习笔记——PySpark案例实战
weixin_45908554的博客
04-01 1029
定义：Apache Spark是用于大规模数据（large-scala data）处理的统一（unified）分析引擎。简单来说，Spark是一款分布式的计算框架，用于调度成百上千的服务器集群，计算TB、PB乃至EB级别的海量数据。Spark作为全球顶级的分布式计算框架，支持众多的编程语言进行开发。而Python语言，则是Spark重点支持的方向。
Python入门（1）：第一阶段
m0_62685174的博客
09-01 929
Python入门
【头歌实训】PySpark Streaming 入门
撕得失败的标签的博客
12-27 3462
第1关：SparkStreaming 基础与套接字流 第2关：文件流 第3关：RDD Spark Streaming 为 Spark 提供了可拓展、高吞吐、容错的流计算能力。Spark Streaming 可整合多种输入数据源，如 Kafka、Flume、HDFS，甚至是普通的 TCP 套接字。经处理后的数据可存储至文件系统、数据库，或显示在仪表盘里。Spark Streaming 的基本原理是将实时输入数据流以时间片（秒级）为单位进行拆分，然后经 Spark 引擎以类似批处理的方式处理每个时间片数据。
pyspark入门---机器学习实战预测婴儿出生率（二）使用ML库
05-13 2578
机器学习实战预测婴儿出生率1.加载数据2.创建转换器3.创建预测器4.创建管道5.训练模型6.使用BinaryClassificationEvaluator对模型评估7.模型保存与调用 在上一文中，主要对Spark MLlib机器学习库使用流程进行了介绍。 从搭建环境开始，然后加载数据，探索数据，直到进行模型的训练与评估，最终进行未知数据的预测，即预测婴儿生存机会 本文则来介绍如何使用ML机器学习库来实战ML！同样使用上一节的数据集来演示ML的构建过程。再次尝试预测婴儿的生存几率。 **Pipelin
Seal^_^【送书活动第2期】——《Flink入门与实战》
✨ 欢迎来到【Seal ^_^ 的CSDN博客】！这里是我记录技术心得、分享经验的地方。✨
04-24 6750
Seal^_^【送书活动第2期】——《Flink入门与实战》
python3手机中文版下载,python中文手机版安装
hjsjshshhshs的博客
06-28 713
① Python所有方向的学习路线图，清楚各个方向要学什么东西② 600多节Python课程视频，涵盖必备基础、爬虫和数据分析③ 100多个Python实战案例，含50个超大型项目详解，学习不再是只会理论④ 20款主流手游迫解 爬虫手游逆行迫解教程包⑤ 爬虫与反爬虫攻防教程包，含15个大型网站迫解⑥ 爬虫APP逆向实战教程包，含45项绝密技术详解⑦ 超300本Python电子好书，从入门到高阶应有尽有⑧ 华为出品独家Python漫画教程，手机也能学习⑨ 历年互联网企业Python面试真题,复习时非常方便。
逻辑回归二分类算法python_监督学习——logistic进行二分类（python）
weixin_39976153的博客
11-29 1218
线性回归及sgd/bgd的介绍：训练数据形式： （第一列代表x1，第二列代表 x2，第三列代表 数据标签 用 0/1表示）训练函数形式： y = sigmod（w0+w1*x1+w2*x2）通过训练函数就能够得到参数列向量θ([θ0,θ1,…θn]^T)，当输入样本列向量x([x0,x1,…,xn])，那么我们对样本x分类就可以通过上述公式计算出一个概率，如...
2018最新Python数据分析实战教程视频 python数据分析班视频 Python数据分析基础教程 利用Python进行数据分析
weixin_44488334的博客
01-11 7836
系列一：《python数据分析基础与实践》 章节1Python概况 课时2Python简介 章节2Python安装 课时3安装Anaconda 课时4使用Anaconda 章节3数据准备 课时5数据类型 – 布尔型 课时6数据类型 – 数值型 课时7数据类型 – 字符型 课时8数据结构 – List 课时9数据结构 – Tuple 课时10数据结构 – Set 课时11 数据结构 – Dic 课时...
Python大数据之Spark编程基础与提升视频课程课件PPT模板.pptx
06-12
### 第3章 Spark机器学习之特征提取 3-1 one-hot向量的原理与实战 特征编码是机器学习中常见的数据预处理步骤，one-hot编码将类别特征转化为数值特征，便于模型处理。本章将讲解其原理并给出实际操作示例。 3-2 ...
python编程入门与案例详解-"Python小屋”免费资源汇总（截至2018年11月28日）...
q6q6q的专栏
10-28 8319
原标题："Python小屋”免费资源汇总（截至2018年11月28日）为方便广大Python爱好者查阅和学习，特整理汇总微信公众号"Python小屋”开通29个月以来推送过的700多篇文章清单，如果需要本清单的电子版，可以在公众号后台发送消息"资源汇总”获取下载地址。非计算机专业《Python程序设计基础》教学参考大纲计算机相关专业"Python程序设计”教...
PySpark | RDD
liujiesxs的博客
06-23 2713
Transformation算子、Action算子、分区操作算子
Python世界：力扣29题两数相除算法实践
来知晓的博客
09-13 464
除法运算本质是减法，从理解原理到真正实现还是有距离，建议初步理解后，不参考任何代码，完全自己复现一遍，体会更深。注意提示：目的就是提醒越界问题：-2^31/-1=2&31，超过了整数表达范围。本问题来自于力扣29题，在做完大数相乘后，顺带也看下两数相除。将两数相除，要求不使用乘法、除法和 mod 运算符。给定两个整数，被除数。
[Python数据可视化]Plotly Express: 地图数据可视化的魅力
最新发布
William数据分析的博客
09-17 604
在数据分析和可视化的世界中，地图数据可视化是一个强大而直观的工具，它可以帮助我们更好地理解和解释地理数据。Python 的 Plotly Express 库提供了一个简单而强大的方式来创建各种地图。本文将通过一个简单的示例，展示如何使用 Plotly Express 来创建一个交互式的地图，并探讨其在地图数据可视化方面的应用。
Tcl lnit error: Can’t find a usable init.tcl in the following directories 问题解决
梦想闹钟
09-15 483
实际研究后发现，其实py2exe已经把打包需要的lib放在dist文件夹下了，但是打包后的程序运行后却没有去lib下找，而是去找系统自带的环境变量里找，所以找不到。这个问题出现在我用py2exe打包了一个包含tkinter的图形化界面，在当前电脑上运行无问题，在移动到新电脑上后提示报错、getcwd用于获取当前工作目录绝对路径，在设置环境的变量的时候它用的是绝对路径-所以也导致了在当前电脑上能用而移动后不能用。解决方法是在你的程序里重新设置下环境变量，而且是用相对路径的形式。
JUC从实战到源码：中断机制与API实现
qq_43843951的博客
09-12 1176
在Java中，线程中断是一种机制，用于通知线程应该停止当前正在执行的任务。中断通常用于协同线程之间的合作，以便让线程在适当的时候终止其工作，尤其是在长时间运行的任务或阻塞操作中。通过学了多线程以及synchronized的相关知识，接下来就到了学习线程中断知识。
opencv学习：calcHist 函数绘制图像直方图及代码实现
mohanyelong的博客
09-13 1506
opencv学习：calcHist 函数绘制图像直方图及代码实现
面试真题 | web自动化关闭浏览器，quit()和close()的区别
NHB234567的博客
09-13 424
关闭所有的浏览器窗口，销毁driver操作，则需要使用的是quit方法；当打开了多个窗口，只想要关闭非最后一个窗口的时候，使用的是close方法。这些资料，对于【软件测试】的朋友来说应该是最全面最完整的备战仓库，这个仓库也陪伴上万个测试工程师们走过最艰难的路程，希望也能帮助到你！close():只关闭当前的浏览器标签页，如果当前浏览器标签页剩下最后一个，则所有标签页面退出。是否编写过对应浏览器退出的测试用例。quit():所有的浏览器窗口退出。关闭当前的标签页，其他窗口不退出。退出当前所有的窗口；
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值