PySpark数据分析基础：PySpark基础功能及DataFrame操作基础语法详解_pyspark rdd

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

1.Spark SQL 和DataFrame

2.Pandas API on Spark

3.Streaming

4.MLBase/MLlib

5.Spark Core

二、PySpark依赖

Dependencies

三、DataFrame

1.创建

创建不输入schema格式的DataFrame

创建带有schema的DataFrame

从Pandas DataFrame创建

通过由元组列表组成的RDD创建

2.查看

DataFrame.show()

spark.sql.repl.eagerEval.enabled

纵向显示

查看DataFrame格式和列名

查看统计描述信息

PySpark DataFrame转换为Pandas DataFrame

3.查询

添加新列实例：

条件查询DataFrame.filter()

4.运算

Pandas_udf

DataFrame.mapInPandas

5.分组

联合分组和应用函数

6.获取数据输入/输出

CSV

Parquet

ORC

四、结合Spark SQL

点关注，防走丢，如有纰漏之处，请留言指教，非常感谢

---

前言

要想了解PySpark能够干什么可以去看看我之前写的文章,里面很详细介绍了Spark的生态：

Spark框架深度理解一：开发缘由及优缺点

Spark框架深度理解二：生态圈

Spark框架深度理解三：运行架构、核心数据集RDD

PySpark只是通过JVM转换使得Python代码能够在Spark集群上识别运行。故Spark的绝大多数功能都可以被Python程序使用。

上篇文章：一文速学-PySpark数据分析基础：PySpark原理详解

已经把PySpark运行原理讲的很清楚了，现在我们需要了解PySpark语法基础来逐渐编写PySpark程序实现分布式数据计算。

已搭建环境：

Spark：3.3.0

Hadoop：3.3.3

Scala：2.11.12

JDK：1.8.0_201

PySpark:3.1.2

---

一、PySpark基础功能

PySpark是Python中Apache Spark的接口。它不仅可以使用Python API编写Spark应用程序，还提供了PySpark shell，用于在分布式环境中交互分析数据。PySpark支持Spark的大多数功能，如Spark SQL、DataFrame、Streaming、MLlib（机器学习）和Spark Core。

1.Spark SQL 和DataFrame

Spark SQL是用于结构化数据处理的Spark模块。它提供了一种称为DataFrame的编程抽象，是由SchemaRDD发展而来。不同于SchemaRDD直接继承RDD，DataFrame自己实现了RDD的绝大多数功能。可以把Spark SQL DataFrame理解为一个分布式的Row对象的数据集合。

Spark SQL已经集成在spark-shell中，因此只要启动spark-shell就可以使用Spark SQL的Shell交互接口。如果在spark-shell中执行SQL语句，需要使用SQLContext对象来调用sql（）方法。Spark SQL对数据的查询分成了两个分支：SQLContext和HiveContext，其中HiveContext继承了SQLContext，因此HiveContext除了拥有SQLContext的特性之外还拥有自身的特性。

Spark SQL允许开发人员直接处理RDD，同时也可查询例如在 Apache Hive上存在的外部数据。Spark SQL的一个重要特点是其能够统一处理关系表和RDD，使得开发人员可以轻松地使用SQL命令进行外部查询，同时进行更复杂的数据分析。

2.Pandas API on Spark

Spark上的pandas API可以扩展使用 python pandas库。

• 轻松切换到pandas API和PySpark API上下文，无需任何开销。
• 有一个既适用于pandas（测试，较小的数据集）又适用于Spark（分布式数据集）的代码库。
• 熟练使用pandas的话很快上手

3.Streaming

Apache Spark中的Streaming功能运行在Spark之上，支持跨Streaming和历史数据的强大交互和分析应用程序，同时继承了Spark的易用性和容错特性。Spark Streaming是将流式计算分解成一系列短小的批处理作业。这里的批处理引擎是Spark Core，也就是把Spark Streaming的输入数据按照batch size（如1秒）分成一段一段的数据（Discretized Stream），每一段数据都转换成Spark中的RDD（Resilient Distributed Dataset），然后将Spark Streaming中对DStream的Transformation操作变为针对Spark中对RDD的Transformation操作，将RDD经过操作变成中间结果保存在内存中。

4.MLBase/MLlib

MLlib构建在Spark之上，是一个可扩展的机器学习库，它提供了一组统一的高级API，帮助用户创建和调整实用的机器学习管道。MLBase分为四部分：MLlib、MLI、ML Optimizer和MLRuntime。

• ML Optimizer会选择它认为最适合的已经在内部实现好了的机器学习算法和相关参数，来处理用户输入的数据，并返回模型或别的帮助分析的结果；
• MLI 是一个进行特征抽取和高级ML编程抽象的算法实现的API或平台；
• MLlib是Spark实现一些常见的机器学习算法和实用程序，包括分类、回归、聚类、协同过滤、降维以及底层优化，该算法可以进行可扩充； MLRuntime 基于Spark计算框架，将Spark的分布式计算应用到机器学习领域。

5.Spark Core

Spark Core是Spark平台的底层通用执行引擎，所有其他功能都构建在其之上。它提供了RDD（弹性分布式数据集）和内存计算能力。

二、PySpark依赖

Dependencies

Package	最低版本限制	Note
pandas	1.0.5	支撑Spark SQL
Numpy	1.7	满足支撑MLlib基础API
pyarrow	1.0.0	支撑Spark SQL
Py4j	0.10.9.5	要求
pandas	1.0.5	pandas API on Spark需要
pyarrow	1.0.0	pandas API on Spark需要
Numpy	1.14	pandas API on Spark需要

请注意，PySpark需要Java 8或更高版本，并正确设置Java_HOME。如果使用JDK 11，请设置Dio.netty.tryReflectionSetAccessible=true 以获取与箭头相关的功能。

AArch64（ARM64）用户注意：PyArrow是PySpark SQL所必需的，但PyArrow 4.0.0中引入了对AArch64的PyArrow支持。如果由于PyArrow安装错误导致PyArrow安装在AArch64上失败，可以按如下方式安装PyArrow>=4.0.0：

pip install "pyarrow>=4.0.0" --prefer-binary

三、DataFrame

PySpark应用程序从初始化SparkSession开始，SparkSession是PySpark的入口点，如下所示。如果通过PySpark可执行文件在PySpark shell中运行它，shell会自动在变量spark中为用户创建会话。

from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()

1.创建

PySpark DataFrame能够通过pyspark.sql.SparkSession.createDataFrame创建，通常通过传递列表(list)、元组(tuples)和字典(dictionaries)的列表和pyspark.sql.Rows，Pandas DataFrame，由此类列表组成的RDD转换。pyspark.sql.SparkSession.createDataFrame接收schema参数指定DataFrame的架构(优化可加速)。省略时，PySpark通过从数据中提取样本来推断相应的模式。

创建不输入schema格式的DataFrame

from datetime import datetime, date
import pandas as pd
from pyspark.sql import Row

df = spark.createDataFrame([
    Row(a=1, b=2., c='string1', d=date(2000, 1, 1), e=datetime(2000, 1, 1, 12, 0)),
    Row(a=2, b=3., c='string2', d=date(2000, 2, 1), e=datetime(2000, 1, 2, 12, 0)),
    Row(a=4, b=5., c='string3', d=date(2000, 3, 1), e=datetime(2000, 1, 3, 12, 0))
])
df

DataFrame[a: bigint, b: double, c: string, d: date, e: timestamp]

创建带有schema的DataFrame

df = spark.createDataFrame([
    (1, 2., 'string1', date(2000, 1, 1), datetime(2000, 1, 1, 12, 0)),
    (2, 3., 'string2', date(2000, 2, 1), datetime(2000, 1, 2, 12, 0)),
    (3, 4., 'string3', date(2000, 3, 1), datetime(2000, 1, 3, 12, 0))
], schema='a long, b double, c string, d date, e timestamp')
df

DataFrame[a: bigint, b: double, c: string, d: date, e: timestamp]

从Pandas DataFrame创建

pandas_df = pd.DataFrame({
    'a': [1, 2, 3],
    'b': [2., 3., 4.],
    'c': ['string1', 'string2', 'string3'],
    'd': [date(2000, 1, 1), date(2000, 2, 1), date(2000, 3, 1)],
    'e': [datetime(2000, 1, 1, 12, 0), datetime(2000, 1, 2, 12, 0), datetime(2000, 1, 3, 12, 0)]
})
df = spark.createDataFrame(pandas_df)
df

DataFrame[a: bigint, b: double, c: string, d: date, e: timestamp]

通过由元组列表组成的RDD创建

rdd = spark.sparkContext.parallelize([
    (1, 2., 'string1', date(2000, 1, 1), datetime(2000, 1, 1, 12, 0)),
    (2, 3., 'string2', date(2000, 2, 1), datetime(2000, 1, 2, 12, 0)),
    (3, 4., 'string3', date(2000, 3, 1), datetime(2000, 1, 3, 12, 0))
])
df = spark.createDataFrame(rdd, schema=['a', 'b', 'c', 'd', 'e'])
df

DataFrame[a: bigint, b: double, c: string, d: date, e: timestamp]

以上的DataFrame格式创建的都是一样的。

df.printSchema()

root
 |-- a: long (nullable = true)
 |-- b: double (nullable = true)
 |-- c: string (nullable = true)
 |-- d: date (nullable = true)
 |-- e: timestamp (nullable = true)

2.查看

DataFrame.show()

使用格式：

df.show(<int>)

df.show(1)

+---+---+-------+----------+-------------------+
|  a|  b|      c|         d|                  e|
+---+---+-------+----------+-------------------+
|  1|2.0|string1|2000-01-01|2000-01-01 12:00:00|
+---+---+-------+----------+-------------------+
only showing top 1 row

spark.sql.repl.eagerEval.enabled

spark.sql.repl.eagerEval.enabled用于在notebooks（如Jupyter）中快速生成PySpark DataFrame的配置。控制行数可以使用spark.sql.repl.eagerEval.maxNumRows。

spark.conf.set('spark.sql.repl.eagerEval.enabled', True)
df

spark.conf.set('spark.sql.repl.eagerEval.maxNumRows',1)
df

纵向显示

行也可以垂直显示。当行太长而无法水平显示时，纵向显示就很明显。

df.show(1, vertical=True)

-RECORD 0------------------
 a   | 1
 b   | 2.0
 c   | string1
 d   | 2000-01-01
 e   | 2000-01-01 12:00:00
only showing top 1 row

查看DataFrame格式和列名

df.columns

['a', 'b', 'c', 'd', 'e']

df.printSchema()

root
 |-- a: long (nullable = true)
 |-- b: double (nullable = true)
 |-- c: string (nullable = true)
 |-- d: date (nullable = true)
 |-- e: timestamp (nullable = true)

查看统计描述信息

df.select("a", "b", "c").describe().show()

+-------+---+---+-------+
|summary|  a|  b|      c|
+-------+---+---+-------+
|  count|  3|  3|      3|
|   mean|2.0|3.0|   null|
| stddev|1.0|1.0|   null|
|    min|  1|2.0|string1|
|    max|  3|4.0|string3|
+-------+---+---+-------+

DataFrame.collect()将分布式数据收集到驱动程序端，作为Python中的本地数据。请注意，当数据集太大而无法容纳在驱动端时，这可能会引发内存不足错误，因为它将所有数据从执行器收集到驱动端。

df.collect()

[Row(a=1, b=2.0, c='string1', d=datetime.date(2000, 1, 1), e=datetime.datetime(2000, 1, 1, 12, 0)),
 Row(a=2, b=3.0, c='string2', d=datetime.date(2000, 2, 1), e=datetime.datetime(2000, 1, 2, 12, 0)),
 Row(a=3, b=4.0, c='string3', d=datetime.date(2000, 3, 1), e=datetime.datetime(2000, 1, 3, 12, 0))]

为了避免引发内存不足异常可以使用DataFrame.take()或者是DataFrame.tail()：

df.take(1)

[Row(a=1, b=2.0, c='string1', d=datetime.date(2000, 1, 1), e=datetime.datetime(2000, 1, 1, 12, 0))]

df.tail(1)

[Row(a=3, b=4.0, c='string3', d=datetime.date(2000, 3, 1), e=datetime.datetime(2000, 1, 3, 12, 0))]

PySpark DataFrame转换为Pandas DataFrame

PySpark DataFrame还提供了到pandas DataFrame的转换，以利用pandas API。注意，toPandas还将所有数据收集到driver端，当数据太大而无法放入driver端时，很容易导致内存不足错误。

df.toPandas()

3.查询

PySpark DataFrame是惰性计算的，仅选择一列不会触发计算，但它会返回一个列实例：

df.a

Column<'a'>

大多数按列操作都返回列：

from pyspark.sql import Column
from pyspark.sql.functions import upper

type(df.c) == type(upper(df.c)) == type(df.c.isNull())

True

上述生成的Column可用于从DataFrame中选择列。例如，DataFrame.select()获取返回另一个DataFrame的列实例：

df.select(df.c).show()

+-------+
|      c|
+-------+
|string1|
|string2|
|string3|


![img](https://img-blog.csdnimg.cn/img_convert/03de2a5cb9d98cc2f6090eb6c08e19d0.png)
![img](https://img-blog.csdnimg.cn/img_convert/520c243c0ad78e247fec43f4b715351c.png)

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

t upper

type(df.c) == type(upper(df.c)) == type(df.c.isNull())

True

上述生成的Column可用于从DataFrame中选择列。例如，DataFrame.select()获取返回另一个DataFrame的列实例：

df.select(df.c).show()

+-------+
|      c|
+-------+
|string1|
|string2|
|string3|


[外链图片转存中...(img-vFAlHQqZ-1715681349992)]
[外链图片转存中...(img-b2x14m94-1715681349992)]

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**