pyspark入门教程

最新推荐文章于 2024-04-15 15:57:58 发布
置顶 最新推荐文章于 2024-04-15 15:57:58 发布
阅读量3.9w 收藏 421
点赞数 94
分类专栏： 学习笔记 文章标签： python spark 数据分析 数据挖掘
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wapecheng/article/details/107472312
版权

目录
一、windows下配置pyspark环境
1.1 jdk下载安装
1.2 Scala下载安装
1.3 spark下载安装
1.4 Hadoop下载安装
1.5 pyspark下载安装
1.6 anaconda下载安装
1.7 测试环境是否搭建成功
二、pyspark原理简介
三、pyspark使用语法
3.1 RDD的基本操作
3.2 DataFrame的基本操作
3.3 pyspark.sql.functions中的方法简介
3.4 窗口函数的使用

Pyspark学习笔记
一、windows下配置pyspark环境
在python中使用pyspark并不是单纯的导入pyspark包就可以实现的。需要由不同的环境共同搭建spark环境，才可以在python中使用pyspark。
搭建pyspark所需环境：
python3，jdk，spark，Scala，Hadoop（可选）

1.1 jdk下载安装
下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
打开Windows中的环境变量：
创建JAVA_HOME：C:\Program Files\Java\jdk1.8.0_181
创建CLASSPATH：.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar
在Path添加：%JAVA_HOME%\bin;
测试是否安装成功：打开cmd命令行，输入java -version
1.2 Scala下载安装
下载地址：https://downloads.lightbend.com/scala/2.12.8/scala-2.12.8.msi
下载后进行安装
创建SCALA_HOME: C:\Program Files (x86)\scala
Path添加：;%SCALA_HOME%\bin; %JAVA_HOME%\bin;;%HADOOP_HOME%\bin
测试是否安装成功：打开cmd命令行，输入scala -version
1.3 spark下载安装
下载地址：http://mirror.bit.edu.cn/apache/spark/spark-3.0.0-preview2/spark-3.0.0-preview2-bin-hadoop2.7.tgz
也可以选择下载指定版本：http://spark.apache.org/downloads.html
在这里插入图片描述

下载好之后解压放在随便一个目录下即可，但是目录名不可以有空格。
环境变量：
创建SPARK_HOME：D:\spark-2.2.0-bin-hadoop2.7
Path添加：%SPARK_HOME%\bin
测试是否安装成功：打开cmd命令行，输入spark-shell
spark-shell时报错：error not found：value sqlContext。参考：https://www.liyang.site/2017/04/19/20170419-spark-error-01/
或者是路径中有空格所致。
1.4 Hadoop下载安装
如果你需要去hdfs取数据的话，就应该先装hadoop。对于spark和hadoop的关系，可以移步这篇博客：Spark是否会替代Hadoop?
https://blog.csdn.net/yjcyyl062c/article/details/84772829
下载地址：
http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz
在这里插入图片描述

解压到指定目录即可。
环境变量：
创建HADOOP_HOME：D:\hadoop-2.7.7
Path添加：%HADOOP_HOME%\bin
测试是否安装成功：打开cmd命令行，输入hadoop
hadoop测试时报错：Error: JAVA_HOME is incorrectly set。参考：https://blog.csdn.net/qq_24125575/article/details/76186309
1.5 pyspark下载安装
python下安装pyspark，可以先去官网上将pyspark下载之后，再进行安装。避免超时
下载地址：https://pypi.tuna.tsinghua.edu.cn/packages/9a/5a/271c416c1c2185b6cb0151b29a91fff6fcaed80173c8584ff6d20e46b465/pyspark-2.4.5.tar.gz
下载之后使用pip install pyspark-2.4.5.tar.gz即可安装。
1.6 anaconda下载安装
1.进入Anaconda官网下载：https://www.anaconda.com/distribution/
2.直接双击运行安装包即可。
3.一直下一步。
4.测试是否安装成功：命令行下输入conda --version
1.7 测试环境是否搭建成功
测试整体环境是否搭建完成：
新建py文件并包含下面的测试代码：

from pyspark import SparkContext
sc = SparkContext("local", "count app")
words = sc.parallelize(
    ["scala",
     "java",
     "hadoop",
     "spark",
     "akka",
     "spark vs hadoop",
     "pyspark",
     "pyspark and spark"
     ])
counts = words.count()
print("Number of elements in RDD -> %i" % counts)

注意：建议在代码之前加上下面这两行代码，可以自动寻找spark的安装位置，是在py文件的最上端加入。

import findspark
findspark.init()

在本地电脑的jupyter notebook上进行spark操作时如果报jvm的错误，说明在jupyter中没有配置好spark的环境，可以考虑使用下面这种方式来加载spark的环境。在jupyter中新建一个python3文件，输入以下代码块

import findspark
findspark.init()
import os
import sys
spark_name = os.environ.get('SPARK_HOME',None)
if not spark_name:
    raise ValueErrorError('spark环境没有配置好')
sys.path.insert(0,os.path.join(spark_name,'python'))
sys.path.insert(0,os.path.join(spark_name,'D:\spark-3.0.0-preview2-bin-hadoop2.7\python\lib\py4j-0.10.8.1-src.zip'))

#(py4j-0.10.6-src.zip位于D:spark-2.3.0-bin-hadoop2.7中python文件夹中lib文件夹内，请根据自己的版本更改)
然后运行，就可以在jupyter中愉快的使用spark啦。

mac下配置此环境可以参考下面这篇文章：
https://blog.csdn.net/wapecheng/article/details/108071538

二、pyspark原理简介
pyspark的实现机制可以用下面这张图来表示
在这里插入图片描述

在python driver端，SparkContext利用Py4J启动一个JVM并产生一个JavaSparkContext。Py4J只使用在driver端，用于本地python与java SparkContext objects的通信。大量数据的传输使用的是另一个机制。
RDD在python下的转换会被映射成java环境下PythonRDD。在远端worker机器上，PythonRDD对象启动一些子进程并通过pipes与这些子进程通信，以此send用户代码和数据。

三、pyspark使用语法
在Spark2.0之前， SparkContext 是所有 Spark 功能的结构， 驱动器（driver） 通过SparkContext 连接到集群 （通过resource manager）， 因为在2.0之前， RDD就是Spark的基础。如果需要建立SparkContext，则需要SparkConf，通过Conf来配置SparkContext的内容。
在这里插入图片描述

其中：
setAppName(), 是你的程序在集群上的名字
setMaster(), 你的Spark运行的模式 ‘local’表示本地模式
而在Spark2.0之后，Spark Session也是Spark 的一个入口， 为了引入dataframe和dataset的API， 同时保留了原来SparkContext的functionality， 如果想要使用 HIVE，SQL，Streaming的API， 就需要Spark Session作为入口。

spark = SparkSession.builder.appName('testSQL')\
                    .config('spark.some.config.option','some-value')\
                    .getOrCreate()

写一个小小的例子，创建一个SparkContext对象并统计一个文件中的行数。

import findspark
findspark.init()
from pyspark import SparkContext
logFile = r"C:\Users\Administrator\Desktop\README.md"
sc = SparkContext("local", "first app")
logData = sc.textFile(logFile).count()
print(logData)

3.1 RDD的基本操作
Spark的核心是RDD（Resilient Distributed Dataset）即弹性分布式数据集，属于一种分布式的内存系统的数据集应用。Spark主要优势就是来自RDD本身的特性，RDD能与其他系统兼容，可以导入外部存储系统的数据集，例如，HDFS、HBase或者其他Hadoop数据源。它们是在多个节点上运行和操作以在集群上进行并行处理的元素。RDD是不可变元素，这意味着一旦创建了RDD，就无法对其进行更改。RDD也具有容错能力，因此在发生任何故障时，它们会自动恢复。你可以对这些RDD应用多个操作来完成某项任务
要对这些RDD进行操作，有两种方法:
• Transformation
• Action
转换 - 这些操作应用于RDD以创建新的RDD。Filter，groupBy和map是转换的示例。
操作 - 这些是应用于RDD的操作，它指示Spark执行计算并将结果发送回驱动程序。

使用sparkcontext读取文件：

  • data_rdd = sc.textFiles(‘xxxxxxx.txt’) # 读入文件内容，返回的东西是rdd
  • path_data_rdd = sc.wholeTextFile((‘xxxxxxx.txt’)) # 不仅读入文件内容，还会读入文件的路径path

基本操作及示例：

  • count() 返回RDD中的元素个数

    from pyspark import SparkContext
sc = SparkContext("local", "count app")
words = sc.parallelize(
    ["scala",
     "java",
     "hadoop",
     "spark",
     "akka",
     "spark vs hadoop",
     "pyspark",
     "pyspark and spark"
     ])
counts = words.count()
print("Number of elements in RDD -> %i" % counts)

在这里插入图片描述

  • collect() 返回RDD中的所有元素，即转换为python数据类型

    from pyspark import SparkContext
sc = SparkContext("local", "collect app")
words = sc.parallelize(
    ["scala",
     "java",
     "hadoop",
     "spark",
     "akka",
     "spark vs hadoop",
     "pyspark",
     "pyspark and spark"
     ])
coll = words.collect()
print("Elements in RDD -> %s" % coll)

在这里插入图片描述

  • foreach(func)
    仅返回满足foreach内函数条件的元素。在下面的示例中，我们在foreach中调用print函数，该函数打印RDD中的所有元素
    from pyspark import SparkContext
	sc = SparkContext("local", "ForEach app")
	words = sc.parallelize (
	   ["scala", 
	   "java", 
	   "hadoop", 
	   "spark", 
	   "akka",
	   "spark vs hadoop", 
	   "pyspark",
	   "pyspark and spark"]
	)
	def f(x): print(x)
	fore = words.foreach(f)

在这里插入图片描述

  • filter(f) 返回一个包含元素的新RDD，它满足过滤器内部的功能。在下面的示例中，我们过滤掉包含’'spark’的字符串。
    from pyspark import SparkContext
	sc = SparkContext("local", "Filter app")
	words = sc.parallelize(
	    ["scala",
	     "java",
	     "hadoop",
	     "spark",
	     "akka",
	     "spark vs hadoop",
	     "pyspark",
	     "pyspark and spark"]
	)
	words_filter = words.filter(lambda x: 'spark' in x)
	filtered = words_filter.collect()
	print("Fitered RDD -> %s" % (filtered))

在这里插入图片描述

  • map(f, preservesPartitioning = False)
    通过将该函数应用于RDD中的每个元素来返回新的RDD。在下面的示例中，我们形成一个键值对，并将每个字符串映射为值1

    from pyspark import SparkContext
	sc = SparkContext("local", "Map app")
	words = sc.parallelize(
	    ["scala",
	     "java",
	     "hadoop",
	     "spark",
	     "akka",
	     "spark vs hadoop",
	     "pyspark",
	     "pyspark and spark"]
	)
	words_map = words.map(lambda x: (x, 1))
	mapping = words_map.collect()
	print("Key value pair -> %s" % (mapping))

在这里插入图片描述

  • reduce(f) 执行指定的可交换和关联二元操作后，将返回RDD中的元素。

    在下面的示例中，我们从运算符导入add包并将其应用于’num’以执行简单的加法运算。说白了和Python的reduce一样：假如有一组整数[x1,x2,x3]，利用reduce执行加法操作add，对第一个元素执行add后，结果为sum=x1,然后再将sum和x2执行add，sum=x1+x2，最后再将x2和sum执行add，此时sum=x1+x2+x3。

    from pyspark import SparkContext
	from operator import add
	sc = SparkContext("local", "Reduce app")
	nums = sc.parallelize([1, 2, 3, 4, 5])
	adding = nums.reduce(add)
	print("Adding all the elements -> %i" % (adding))

在这里插入图片描述

  • join(other, numPartitions = None) 它返回RDD，其中包含一对带有匹配键的元素以及该特定键的所有值。
    from pyspark import SparkContext
 sc = SparkContext("local", "Join app")
 x = sc.parallelize([("spark", 1), ("hadoop", 4)])
 y = sc.parallelize([("spark", 2), ("hadoop", 5)])
 joined = x.join(y)
 final = joined.collect()
 print( "Join RDD -> %s" % (final))

在这里插入图片描述

下面换一组数据进行操作。

    import findspark
	findspark.init()
	from pyspark import SparkConf, SparkContext
	sc = SparkContext()
	intRDD = sc.parallelize([3,1,2,5,5])
	stringRDD = sc.parallelize(['Apple','Orange','Grape','Banana'
最低0.47元/天 解锁文章
wapecheng
关注
  • 94
    点赞
  • 踩
  • 421
    收藏
    觉得还不错? 一键收藏
  • 14
    评论
专栏目录
三、PySpark简单入门
HSF_213156的博客
07-24 337
flatMap()作用和Map()一样，都是对每条数据进行处理，但是他可以解除嵌套。map方法是将RDD数据一条条处理，接收一个处理函数，并返回新的RDD对象。针对KV型数据完成数据操作，接收2个传入参数，返回一个返回值。
PySpark安装教程
weixin_45694975的博客
09-13 1696
一、JAVA SDK 1.8 最好重新选择安装目录 尽量安装在没有空格、中文的目录下 如果以前安装在默认目录下 需要更改环境变量 环境变量配置 二、HADOOP 安装及配置 参考链接 https://blog.csdn.net/csj941227/article/details/78311317? Windows环境下执行hadoop命令出现Error: JAVA_HOME is incorrectly set Please update D:\SoftWare\hadoop-2.6.0\con 参考
pyspark从入门到精通
03-31
由于学习pyspark
3万字长文，PySpark入门级学习教程，框架思维
Python数据之道
08-09 1596
来源：SAMshare为什么要学习Spark？作为数据从业者多年，个人觉得Spark已经越来越走进我们的日常工作了，无论是使用哪种编程语言，Python、Scala还是Java，都会或多或...
分布式的计算框架之Spark（python第三方库视角学习PySpark）
最新发布
YLF123456789000的博客
04-15 985
Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。现在形成一个高速发展应用广泛的生态系统。特点介绍Spark 主要有三个特点：首先，高级 API 剥离了对集群本身的关注，Spark 应用开发者可以专注于应用所要做的计算本身。其次，Spark 很快，支持交互式计算和复杂算法。最后，Spark 是一个通用引擎，可用它来完成各种各样的运算，包括 SQL 查询、文本处理、机器学习等，而在 Spark 出现之前，我们一般需要学习各种各样的引擎来分别处理这些需求。（来源百度百科）
Python大数据处理利器，PySpark的入门实战
weixin_69999177的博客
01-31 5499
Pandas的dataframe与PySpark的dataframe有许多相似之处，熟悉Pandas的同学可以很快适应它的API。目前可以粗浅地把PySpark理解为”分布式的Pandas“，不过，PySpark还有分布式机器学习的功能——Spark MLlib（可以理解为分布式的Sklearn、TensorFlow等），后续会给大家介绍。在集群中，它的dataframe可以分布在不同的机器上，以此处理海量数据。有兴趣的小伙伴可以通过虚拟机搭建一个Spark集群，进一步学习Spark。
PySpark大数据处理详细教程
数据科学知识库
12-12 1661
在这篇博客中，我们将深入探讨 PySpark DataFrame 的操作和应用，从基础到高级，涵盖了数据处理和分析的多个方面。我们会开始于 DataFrame 的创建和基本操作，逐步过渡到复杂的数据转换、特征工程，最后探索性能优化和数据流处理等高级主题。每个部分都配有实用的代码示例和详细的解释，旨在帮助您更好地理解和应用这些技术。无论您是希望提高数据分析技能，还是寻找提升大数据处理能力的灵感，这篇博客都将是您的理想选择。
Python学习之PySpark案例实战
热门推荐
阿澈不吃蒜的博客
05-25 1万+
Spark是什么Apache Spark是用于。
PySpark
weixin_46086217的博客
03-29 3821
学习笔记
Python大数据处理利器之Pyspark详解
Rocky006的博客
08-30 7982
在现代信息时代，数据是最宝贵的财富之一，如何处理和分析这些数据成为了关键。Python在数据处理方面表现得尤为突出。而pyspark作为一个强大的分布式计算框架，为大数据处理提供了一种高效的解决方案。本文将详细介绍pyspark的基本概念和使用方法，并给出实际案例。
PySpark入门
noobiee的博客
10-13 8115
1，通过pyspark进入pyspark单机交互式环境。 这种方式一般用来测试代码。 也可以指定jupyter或者ipython为交互环境。2，通过spark-submit提交Spark任务到集群运行。 这种方式可以提交Python脚本或者Jar包到集群上让成百上千个机器运行任务。 这也是工业界生产中通常使用spark的方式。3，通过zepplin notebook交互式执行。 zepplin是jupyter notebook的apache对应产品。4, Python安装findspark和pyspark库
Pyspark 基础知识
不忘初欣丶的博客
04-05 3330
Pyspark基础知识，包括Pyspark基本介绍，和Spark框架对比，WordCount执行流程，Pyspark执行原理等
pyspark 入门
qq_36523203的博客
10-11 886
为什么用 python中pandas是数据分析的利器，具有并行的特兹那个，而且函数和数据计算的方法非常方便，是数据分析中的瑞士军刀。但是受限于单个机器性能和配置的限制，当大规模数据，比如100G-10TB规模的数据时，pandas就显得局限了，就像瑞士军刀杀牛，难以下手。这时就需要基于分布式计算的大数据工具spark,是基于分布式计算，可以基于hadoop和hive，进行分布式的数据计算，同时spark具有python API，可以通过类似python的语法，无门槛的过渡。 怎么用 pyspark支持RDD
spark2.2 入门教程
08-17
Spark 2.2入门教程是针对大数据处理框架Apache Spark的最新版本进行的深入解析，尤其对比了它与早期版本如Spark 1.0的重大变化。Spark以其高效、易用和可扩展性在大数据处理领域备受青睐，而Spark 2.2的发布带来了更...
PySpark基础入门与快速上手（完整视频+课件+代码+软件工具）
11-10
关于Python+Spark 的入门安装、配置，示例与快速入门与基础案例等的视频讲解，配置讲义、代码、笔记、软件等，原价值千元内部培训教程现免费对外公开。
pyspark-tutorial:PySpark-Tutorial提供使用PySpark的基本算法
05-23
PySpark教程 PySpark是用于Spark的Python API。 PySpark教程的目的是提供使用PySpark的基本分布式算法。 PySpark具有用于基本测试和调试的交互式外壳程序（ $SPARK_HOME/bin/pyspark ），不应将...PySpark入门-第2部
写给Python程序员的Scala入门教程1
08-04
【标题】：“写给Python程序员的Scala入门教程1” 【描述】：本教程旨在帮助熟悉Python的程序员逐步学习Scala语言，特别关注如何利用已有的Python背景来理解和掌握Scala的特性和用法。教程将探讨Scala在大数据处理...
LearningPySpark_Code.zip
07-18
本教程旨在为初学者提供一个全面的PySpark入门指导，涵盖基础概念、核心操作、DataFrame以及机器学习库MLlib等内容，并通过实际项目来加深理解。 一、PySpark基本概念 1. Apache Spark：Spark是一个用于大规模数据...
【数据开发】pyspark入门与RDD编程
小哈里的博客
02-02 2270
pyspark的用途机器学习专有的数据分析。数据科学使用Python和支持性库的大数据。spark与pyspark的关系spark是一种计算引擎，类似于hadoop架构下mapreduce，与mapreduce不同的是将计算的结果存入hdfs分布式文件系统。spark则是写入内存中，像mysql一样可以实现实时的计算，包括SQL查询。spark不单单支持传统批量处理应用，更支持交互式查询、流式计算、机器学习、图计算等各种应用，
pyspark入门学习教程---介绍(1)
03-16
Pyspark是一种基于Python的Spark API，它可以用于大规模数据处理和分析。Pyspark提供了许多强大的工具和函数，可以帮助开发人员轻松地处理和分析大量数据。本教程将介绍Pyspark的基础知识，包括如何安装和配置Pyspark，如何使用SparkContext和RDD，以及如何使用Pyspark进行数据处理和分析。此外，本教程还将介绍Pyspark的高级功能，如DataFrame和SQL查询。通过学习本教程，您将了解如何使用Pyspark处理和分析大规模数据集。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 14
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值