七、python-PySpark篇(黑马程序猿-python学习记录)

已于 2023-01-24 15:43:10 修改
阅读量3.2k 收藏 37
点赞数 3
分类专栏： B站黑马程序员的python视频笔记 文章标签： spark 大数据
于 2023-01-24 10:48:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yinsefeixingchuan/article/details/128755612
版权

黑马程序猿的python学习视频：https://www.bilibili.com/video/BV1qW4y1a7fU/

===============================================================

目录

1. pyspark定义

2. 下载

3. 获取PySpark版本号

4. 演示pyspark加载数据

5. 演示pyspark读取txt文档信息

6. RDD对象是什么？为什么要使用它

​​​​​​​7. 如何输入数据到Spark（即得到RDD对象）

8. 数据计算

1. 通过map方法将全部数据乘以10

2. map算子概念

3. flatMap方法

4. reduceByKey方法

5. 练习案例1-单词计数

6. filter过滤：获取想要的数据

7. distinct去重方法

8. sortBy排序方法

9. 数据输出

1. 输出为python对象

1. collect:将RDD内容转换成list

2. reduce：对RDD内容进行自定义聚合

3. take算子：取出RDD前N个元素组成list

4. count算子:统计RDD元素个数

2. 输出到文件中

1. pyspark定义

2. 下载

点击右下角版本 点击解释器设置

点击+号

搜索pyspark 选择pyspark

勾选选项 在输入框中输入

-i https://pypi.tuna.tsinghua.edu.cn/simple

点击安装软件包

提示正在安装

等一两分钟就能安装完毕

3. 获取PySpark版本号

# 导包

from pyspark import SparkConf,SparkContext

# 创建SparkConf对象

conf = SparkConf().setMaster("local[*]").setAppName("test_spark_app")

# 基于SparkConf类对象创建SparkContext对象

sc = SparkContext(conf=conf)

# 打印PySpark的运行版本

print(sc.version)

# 停止SparkContext对象的运行 （停止Spark对象）

sc.stop()

3.3.1

4. 演示pyspark加载数据

from pyspark import SparkConf,SparkContext

conf = SparkConf().setMaster("local[*]").setAppName("test_spark")

sc = SparkContext(conf=conf)

# 通过parallelize方法将Python对象加载到Spark内 成为RDD对象

rdd1 = sc.parallelize([1, 2, 3, 4, 5])

rdd2 = sc.parallelize((1, 2, 3, 4, 5))

rdd3 = sc.parallelize("abcdefg")

rdd4 = sc.parallelize({1, 2, 3, 4, 5})

rdd5 = sc.parallelize({"key1": "value1", "key2": "value2"})

# 如果要查看RDD里边有什么内容 需要用Collect()方法

print(rdd1.collect())

print(rdd2.collect())

print(rdd3.collect())

print(rdd4.collect())

print(rdd5.collect())

[1, 2, 3, 4, 5]

[1, 2, 3, 4, 5]

['a', 'b', 'c', 'd', 'e', 'f', 'g']

[1, 2, 3, 4, 5]

['key1', 'key2']

5. 演示pyspark读取txt文档信息

在D盘准备一个test的txt文档

from pyspark import SparkConf,SparkContext

conf = SparkConf().setMaster("local[*]").setAppName("test_spark")

sc = SparkContext(conf=conf)

# 通过textFile方法，读取文件数据加载到Spark内，成为RDD对象

rdd = sc.textFile("D:/test.txt")

print(rdd.collect())

sc.stop()

23/01/23 23:15:35 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

['hello', 'world', 'world', '嘿嘿']

​​​​​​​6. RDD对象是什么？为什么要使用它

RDD对象称之为分布式弹性数据集，是PySpark中数据计算的载体，他可以：

  1. 提供数据存储
  2. 提供数据计算的各类方法
  3. 数据计算的方法，返回值依旧是RDD(RDD迭代计算)

后续对数据进行各类计算，都是基于RDD对象进行

​​​​​​​7. 如何输入数据到Spark（即得到RDD对象）

通过SparkContext的parallelize的成员方法，将Python数据容器转换为RDD对象

通过SparkContext的textFile成员方法，读取文本文件得到RDD对象

8. 数据计算

1. 通过map方法将全部数据乘以10

from pyspark import SparkConf,SparkContext

import os

os.environ['PYSPARK_PYTHON'] = "D:/python/python.exe"

conf = SparkConf().setMaster("local[*]").setAppName("test_spark")

sc = SparkContext(conf=conf)

# 准备一个rdd

rdd = sc.parallelize([1,2,3,4,5])

# 通过map方法将全部数据乘以10

rdd2 = rdd.map(lambda x:x*10)

print(rdd2.collect())

sc.stop()

[10, 20, 30, 40, 50]

2. map算子概念

接受一个处理函数，可用lambda表达式快速编写

对RDD内的元素逐个处理，并返回新的RDD

3. flatMap方法

将rdd中的单词全部提取出来 解除嵌套

注意：

计算逻辑和map一样

但是比map方法多出了解除一层嵌套的功能

from pyspark import SparkConf,SparkContext

import os

os.environ['PYSPARK_PYTHON'] = "D:/python/python.exe"

conf = SparkConf().setMaster("local[*]").setAppName("test_spark")

sc = SparkContext(conf=conf)

# 准备一个RDD

rdd = sc.parallelize(["111 222 333","444 555 666","777 888 999 000"])

# 将rdd中的单词全部提取出来 解除嵌套

rdd2 = rdd.flatMap(lambda x:x.split(" "))

print(rdd2.collect())

sc.stop()

['111', '222', '333', '444', '555', '666', '777', '888', '999', '000']

4. reduceByKey方法

功能：针对KV型RDD，自动按照key分组，然后根据你提供的聚合逻辑，完成组内数据(value)的聚合操作

如下案例实现了对男女两个组的分组，并且分别计算2个组的和

from pyspark import SparkConf,SparkContext

import os

os.environ['PYSPARK_PYTHON'] = "D:/python/python.exe"

conf = SparkConf().setMaster("local[*]").setAppName("test_spark")

sc = SparkContext(conf=conf)

# 准备一个RDD

rdd = sc.parallelize([("男", 99), ("男",88), ("女",77), ("女",99), ("女",66),])

# 求男生和女生两个组的成绩之和

rdd2 = rdd.reduceByKey(lambda a, b: a+b)

print(rdd2.collect())

sc.stop()

[('男', 187), ('女', 242)]

5. 练习案例1-单词计数

需求：读取txt文档信息，计算各个单词出现的次数

text.txt文档数据

hello hello

world world

啦啦 啦啦 啦啦

嘿嘿 嘿嘿 嘿嘿

代码和结果如下

# 构建执行环境入口对象

from pyspark import SparkConf,SparkContext

import os

os.environ['PYSPARK_PYTHON'] = "D:/python/python.exe"

conf = SparkConf().setMaster("local[*]").setAppName("test_spark")

sc = SparkContext(conf=conf)

# 2.读取数据文件

rdd = sc.textFile("D:/test.txt")

# 3. 取出全部单词

word_add = rdd.flatMap(lambda x:x.split(" "))

# 4. 将所有的单词 都转成二元元组 单词为key，value设置成1 方便计数

word_with_one_rdd = word_add.map(lambda x:(x,1))

# 5. 分组求和

result_add = word_with_one_rdd.reduceByKey(lambda a, b:a+b)

# 6. 打印输出结果

print(result_add.collect())

sc.stop()

[('world', 2), ('啦啦', 3), ('hello', 2), ('嘿嘿', 3)]

6. filter过滤：获取想要的数据

filter算子概念：接受一个处理函数，可以用lambda快速编写

函数对RDD数据逐个处理，得到True的保留至返回值的RDD中

以下案例是：获取数组中的偶数，把奇数过滤掉

# 构建执行环境入口对象

from pyspark import SparkConf,SparkContext

import os

os.environ['PYSPARK_PYTHON'] = "D:/python/python.exe"

conf = SparkConf().setMaster("local[*]").setAppName("test_spark")

sc = SparkContext(conf=conf)

# 准备一个rdd

rdd = sc.parallelize([1,2,3,4,5,6,7,8,9])

# 对RDD的数据进行过滤

rdd2 = rdd.filter(lambda num:num%2==0)

print(rdd2.collect())

sc.stop()

[2, 4, 6, 8]

7. distinct去重方法

概念:完成对RDD内数据的去重操作

# 构建执行环境入口对象

from pyspark import SparkConf,SparkContext

import os

os.environ['PYSPARK_PYTHON'] = "D:/python/python.exe"

conf = SparkConf().setMaster("local[*]").setAppName("test_spark")

sc = SparkContext(conf=conf)

# 准备一个rdd

rdd = sc.parallelize([1,1,1,2,2,2,3,3,4,5,6,6,6])

# 对RDD的数据进行去重

rdd2 = rdd.distinct()

print(rdd2.collect())

sc.stop()

[1, 2, 3, 4, 5, 6]

8. sortBy排序方法

概念：接收一个处理函数，可用lambda快速编写

函数表示用来决定排序的依据

可以控制升序或降序

全局排序需要设置分区数为1

案例如下：对学生的成绩进行降序排序

第一个参数：取分数

第二个参数：设置False 说明是降序

第三个参数：设置为1

# 构建执行环境入口对象

from pyspark import SparkConf,SparkContext

import os

os.environ['PYSPARK_PYTHON'] = "D:/python/python.exe"

conf = SparkConf().setMaster("local[*]").setAppName("test_spark")

sc = SparkContext(conf=conf)

# 准备一个rdd

rdd = sc.parallelize([('张三',99),('李四', 77),('王五', 88),('赵六', 100),('七七', 87)])

# 对结果进行排序

rdd2 = rdd.sortBy(lambda x:x[1], ascending=False, numPartitions=1)

print(rdd2.collect())

sc.stop()

[('赵六', 100), ('张三', 99), ('王五', 88), ('七七', 87), ('李四', 77)]

9. 数据输出

1. 输出为python对象

1. collect:将RDD内容转换成list

rdd.collect():返回值是一个list

2. reduce：对RDD内容进行自定义聚合

reduce算子，对RDD进行两两聚合

# 构建执行环境入口对象

from pyspark import SparkConf,SparkContext

import os

os.environ['PYSPARK_PYTHON'] = "D:/python/python.exe"

conf = SparkConf().setMaster("local[*]").setAppName("test_spark")

sc = SparkContext(conf=conf)

# 准备一个rdd

rdd = sc.parallelize([1,2,3,4,5,6,7,8,9,10])

num = rdd.reduce(lambda a,b:a+b)

print(rdd2)

sc.stop()

55

3. take算子：取出RDD前N个元素组成list

概念：取出RDD中的前N个元素,组成list返回

# 构建执行环境入口对象

from pyspark import SparkConf,SparkContext

import os

os.environ['PYSPARK_PYTHON'] = "D:/python/python.exe"

conf = SparkConf().setMaster("local[*]").setAppName("test_spark")

sc = SparkContext(conf=conf)

# 准备一个rdd

rdd = sc.parallelize([('张三',99),('李四', 77),('王五', 88),('赵六', 100),('七七', 87)])

# 取出rdd中前两个元素，组成list返回

rdd2 = rdd.take(2)

print(rdd2)

sc.stop()

[('张三', 99), ('李四', 77)]

4. count算子:统计RDD元素个数

# 构建执行环境入口对象

from pyspark import SparkConf,SparkContext

import os

os.environ['PYSPARK_PYTHON'] = "D:/python/python.exe"

conf = SparkConf().setMaster("local[*]").setAppName("test_spark")

sc = SparkContext(conf=conf)

# 准备一个rdd

num = sc.parallelize([('张三',99),('李四', 77),('王五', 88),('赵六', 100),('七七', 87)]).count()

print(num)

sc.stop()

5

2. 输出到文件中

saveAsTextFile算子：将RDD的数据写入到文本文件中

支持本地写出，hdfs等文件系统

星银色飞行船
关注
  • 3
    点赞
  • 踩
  • 37
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 3
    评论
专栏目录
PySpark 学习笔记一
01-12 8685
为了更好地进行大数据分析与处理，最近在学习PySpark，整理了一下笔记 ，加深印象。 1 Resilient Distributed Datasets（RDD） 弹性分布式数据集（RDD）是一个不可变的JVM对象的分布式集合，是Spark的基本抽象。 1.1 创建RDD 准备工作： >>> import pyspark >>> from pyspark import SparkC
Pyspark 基础知识
不忘初欣丶的博客
04-05 3349
Pyspark基础知识，包括Pyspark基本介绍，和Spark框架对比，WordCount执行流程，Pyspark执行原理等
【ML】第 2 章：PySpark 简介
sikh_0529的博客
01-08 1973
通常，您会想要控制跟随并提供您的自定义模式。这使得代码本身的协作和可重复性成为可能。它还可以节省您以后调试问题的宝贵时间。那么，如何使用 Spark 做到这一点？您将需要创建一个 StructType() 并在阅读期间将其作为所需模式传递给阅读器。在结构类型中，使用专用 API 添加所有列名称和类型。在上面的示例中，添加功能中有 True。这意味着该值可以为空。
分布式的计算框架之Spark（python第三方库视角学习PySpark）
NHB234567的博客
05-07 2009
Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。现在形成一个高速发展应用广泛的生态系统。特点介绍Spark 主要有三个特点：首先，高级 API 剥离了对集群本身的关注，Spark 应用开发者可以专注于应用所要做的计算本身。其次，Spark 很快，支持交互式计算和复杂算法。最后，Spark 是一个通用引擎，可用它来完成各种各样的运算，包括 SQL 查询、文本处理、机器学习等，而在 Spark 出现之前，我们一般需要学习各种各样的引擎来分别处理这些需求。（来源百度百科）
pySpark(一) 概述
半壁江山009的博客
10-11 3716
pyspark 介绍： pySpark是spark的一个工具，是spark提供的用python写的sparkAPI库。 原理： 通过py4j这个，,将pythonAPI链接到sparkContext上，以此python程序可以动态的访问jvm中的java对象，java也可以动态的回调python对象 架构图： 首先SparkContext是spark程序的入口，SparkContext使用Py4J启动 JVM 并创建 JavaSparkContext。 py4J启动sparkContext后， 分发到wo
【黑马程序员】PySpark学习
double_happiness的博客
03-18 1066
功能：map算子是将RDD的数据一条条处理（处理的逻辑基于map算子中接收的处理函数），返回新的RDD。PySpark的数据计算，都是基于RDD对象来进行的，RDD对象内置丰富的：成员方法（算子）功能：针对KV型RDD，自动按照key分组，然后根据你提供的聚合逻辑，完成数据的聚合操作。功能：对rdd执行map操作，然后进行解除嵌套操作。通过textFile()方法将文件转成RDD对象。
Python-PySpark编程最佳实践指南
08-11
This is an open repo of all the best practices of writing PySpark that I have learnt from working with the Framework.
python-产品篇-软件-背单词程序
02-28
标题中的“python-产品篇-软件-背单词程序”表明我们即将探讨的是一个使用Python编程语言开发的，针对英语学习者设计的背单词软件。这个软件可能是为了帮助用户记忆和复习英语词汇，提高他们的词汇量和语言技能。...
Python-基础学习笔记.docx
11-15
Python 基础学习笔记 本笔记基于《Python 语言程序设计基础（第 2 版）》第一部分 初识 Python 语言，涵盖了计算机的概念、程序设计语言、Python 语言概述、Python 语言开发环境配置、程序的基本编写方法等知识点。...
Python库 | dagster-pyspark-0.12.0rc0.tar.gz
03-02
《Python库：深入理解dagster-pyspark-0.12.0rc0》 Python是一种广泛应用于数据处理、科学计算、机器学习等领域的高级编程语言。在Python的生态系统中，丰富的第三方库是其魅力所在， dagster-pyspark 就是其中的一...
程序猿大战Python-开发第1个Python程序
最新发布
05-30
"程序猿大战Python-开发第1个Python程序"这个主题，旨在引导初学者迈入Python编程的世界，通过实际操作开发第一个Python程序来熟悉语言的基本用法。 首先，我们需要了解Python的安装。Python通常提供官方的可执行...
pyspark学习笔记: 一些环境配置问题
热门推荐
Never-Giveup的博客
01-01 1万+
使用pyspark一些环境配置问题 基本配置 安装spark后，还需要修改Spark的配置文件spark-env.sh cd /usr/local/spark cp ./conf/spark-env.sh.template ./conf/spark-env.sh 编辑spark-env.sh文件(vim ./conf/spark-env.sh)，在第一行添加以下配置信息: export SPAR...
【python】-pyspark应用
weixin_63106307的博客
04-05 1324
Spark。Spark是一个强大的工具，适用于大数据处理和分析，无论是学术研究还是工业应用，都能找到其用武之地。
Python快捷处理大数据：掌握PySpark的基本原理和应用
ZP1008yy的博客
03-30 796
大数据的应用越来越广泛，如何高效地处理和分析大量的数据成为了关键问题。而分布式计算框架是解决大数据处理问题的重要方式之一。在众多分布式计算框架中，Apache Spark是最受欢迎的之一，并且其Python版本——PySpark也备受青睐。 本文将介绍PySpark的基本概念、组件及其原理，然后详细讲解如何使用PySpark进行大数据处理和分析。 1. PySpark简介 1.1 什么是PySpark Apache Spark是一个基于内存的分布式计算系统，可用于大规模数据处理、机器学习等应用。而PyS
pyspark dataframe按照日期过滤数据
Jasmine的博客
09-09 2506
pyspark对于日期类型的列按照时间范围过滤
pyspark--读取数据
liuyingying0418的博客
04-24 6559
文章目录pyspark读取数据参数介绍formatschemaloadtableoption读取文件jsoncsvparquet和orc读取数据表hivejdbc pyspark读取数据 参数介绍 format DataFrameReader.format(source) 指定不同格式来读取文件，例如以下为指定json格式读取数据： df = spark.read.format('json').load('python/test_support/sql/people.json') 针对常用几个文件格式
Pyspark学习笔记小总
Miracle8070
11-20 3153
pyspark官方文档: https://spark.apache.org/docs/latest/api/python/index.html pyspark案例教程: https://sparkbyexamples.com/pyspark-tutorial/这篇文章记录下最近学习的有关Pyspark以及用spark sql去处理大规模数据的一些常用语法，之前总觉得pandas是做数据分析和数据挖掘的利器， 但是工作之后，面对海量数据(上亿规模)，这才发现，普通的pandas几乎毫无用武之力，所以有必要再重
pyspark案例系列12-查找Spark官方文档
只是甲的博客
06-16 591
Spark官方文档 如何查找Spark官方文档 Spark 读写 CSV、MySQL、Hive
python pyspark用法
m0_37347812的博客
09-30 474
字符串的格式化方法分为两种，分别为占位符(%)和format方式 Python lambda介绍 PySpark 之 map pyspark行转列、列转行或宽表转窄表、窄表转宽表 Python pandas 列转行操作（类似hive中explode方法）
pyspark ---python程序动态设置spark driver内存大小
03-16
可以通过以下代码动态设置Spark Driver的内存大小： ```python from pyspark import SparkConf, SparkContext conf = SparkConf().setAppName("myApp").set("spark.driver.memory", "4g") sc = SparkContext(conf=conf) ``` 其中，`set("spark.driver.memory", "4g")`表示设置Spark Driver的内存大小为4GB。可以根据实际情况进行调整。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

星银色飞行船

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值