pyspark学习笔记

已于 2023-10-03 21:44:06 修改
阅读量131 收藏
点赞数
文章标签： 学习 笔记 sql
于 2023-10-03 16:26:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_73744866/article/details/133513912
版权

1、构建pyspark执行环境入口对象（SparkContext）

#导包
from pyspark import SparkConf, SparkContext

#创建SparkConf类对象
conf = SparkConf().setMaster("local[*]).\
        setAppName("test_spark_app")

#基于SparkConf类对象创建SparkContext类对象
sc = SparkContext(conf=conf)

#打印pyspark的运行版本
print(sc.version)

#停止SparkContext对象运行
sc.stop()

1.1、spark的编程模型

RDD对象：

pyspark支持通过SparkContext对象的parallelize成员方法，将list、tuple、set、dict、str转换为pyspark的RDD对象。

转换时：字符串会被拆分成单个的字符，存入·RDD对象

from pyspark SparkConf, SparkContext

conf = SparkConf().setMaster("local[*]").setAppName("test_spark")

sc = SparkContext(conf = conf)

#通过parallelize方法将python对象加载到是【ark内，成为RDD对象

rdd1 = sc.parallelize([1,2,3,4,5])
rdd2 = sc.parallelize((1,2,3,4,5))
rdd2 = sc.parallelize("dhskj")
rdd4 = sc.parallelize({1,2,3,4,5})
rdd5 = sc.parallelize({"key1": "value1","key2": "value2"})

#如果需要查看RDD里面有什么内容，需要collect()方法
print(rdd1.collect())
print(rdd2.collect())
print(rdd3.collect())
print(rdd4.collect())
print(rdd5.collect())


#读取文件转RDD对象,数据输入spark，就会成为rdd对象。

rdd = sc.textFile("D:/hello.txt")
print(rdd.collect())

sc.stop()

RDD对象是什么？

是分布式弹性数据集，是oyspark中数据计算的载体，它可以：1、提供数据存储；2、提供数据计算的各类方法；3、数据计算后，返回的仍旧是RDD对象。

怎么输入数据到spark，即得到RDD对象

1、通过SparkContext的parallelize成员方法，将python数据容器转换为RDD对象

2、通过SparkContext的textFile成员方法，读取文本文件得到RDD对象

2、数据计算

数据计算指令指令格式
maprdd.map(func)/rdd.map(lambda 变量: 函数体)
flapMap        

rdd.flapMap(func)/rdd.flapMap(lambda 变量: 函数体)；指令个数基本与map一致，差别在于。flapMap的输出是无嵌套的数据。

数据（“shu shi kjoi","jhdi ewju hdd","jhui jk ijn"）

map得到的结果：[[”shu","shi","kjoi",["jhdi","ewju","hdd"],["jhui","jk","ijn"]]

flapMap得到的结果：[”shu","shi","kjoi","jhdi","ewju","hdd","jhui","jk","ijn"]

reduceByKeyreduceByKey(lambda a,b: a+b)；对二元元组操作，用于分组聚合操作
filterfilter(lambda x: 命题)；数据滤波，仅保留命题为真的数据
distinctdistin()，去重操作
sortBy

sortBy(lambda x: 用于排序的参数，ascending = True, numPartition = 1)；ascending = True升序；ascending = False降序；numPartition = *表示分区数目，这个数目与spark的分布式操作相关。

2.1、map算子

功能：将RDD的数据一条条处理，处理的逻辑  基于map算子中接收的处理函数func，返回新RDD

rdd.map(func)

支持链式调用

from pyspark SparkConf, SparkContext
#当spark找不到python解释器所在时，会报错。可以这样做：
#import os
#os.envior['PYSPARK_PYTHON'] ] "d:/dev/python/python310/python.exe"

conf = SparkConf().setMaster("local[*]").setAppName("test_spark")

sc = SparkContext(conf = conf)

#通过parallelize方法将python对象加载到是【ark内，成为RDD对象

rdd1 = sc.parallelize([1,2,3,4,5])
#通过map方法将全部数据都乘10
def func(data):
    return data*10

rdd2 = rdd1.map(func)

内部的func可用两种方式书写：

1、用def定义函数

2、用lambda表达式快速编写

2.2、flapMap算子

功能：对rdd执行map操作，然后进行解除嵌套操作

#解除嵌套前：

list1 = [[1,2,3],[4,5,6],[8,9,0]]

#解除嵌套后

list1 = [1,2,3,4,5,6,8,9,0]

代码

from pyspark SparkConf, SparkContext

conf = SparkConf().setMaster("local[*]").setAppName("test_spark")

sc = SparkContext(conf = conf)

#通过parallelize方法将python对象加载到是【ark内，成为RDD对象

rdd2 = sc.parallelize(["dhskj fdjlk dsklf","sfd rfds ewr","wq wef sade"])

rdd = rdd2.map(lambda x: x.split(" "))

rdd1 = rdd2.flapmap(lambda x: x.split(" "))

2.3、redunceByKey算子

KV型：二元元组，（Key，Value）

功能：针对KV型ADD，自动按照Key分组，然后根据算子中提供的聚合逻辑，完成组内数据value的聚合函数

代码

from pyspark SparkConf, SparkContext

conf = SparkConf().setMaster("local[*]").setAppName("test_spark")

sc = SparkContext(conf = conf)

#通过parallelize方法将python对象加载到是spark内，成为RDD对象

rdd2 = sc.parallelize([("men",23),("men",32),("women",66),("women",88])

rdd = rdd2.reducebykey(lambda x,y: x+y))

2.4、案例1

使用pyspark相关方法，读取文件，统计单词出现次数

from pyspark SparkConf, SparkContext
import os
os.environ["PYSPARK_PYTHON"] = "D/hskdj/python.ext"

conf = SparkConf().setMaster("local[*]").setAppName("test_spark")
sc = SparkContext(conf = conf)

#读取文件
rdd = sc.textFile("D:/hello.txt")

#取出全部单词
rdd1 = rdd.flapMap(lambda x: x.split(" "))

#将所有单词都转换成二元元组
rdd2 = rdd1.map(lambda y: (y,1))


#分组求和
rdd3 = rdd2.reduceByKey(lambda a,b: a+b)

#打印输出

2.5、filter算子

1、接收一个处理函数，可用lambda编写处理函数

2、面对RDD数据，逐个处理，将True返回到RDD

from pyspark SparkConf, SparkContext
import os
os.environ["PYSPARK_PYTHON"] = "D/hskdj/python.ext"

conf = SparkConf().setMaster("local[*]").setAppName("test_spark")
sc = SparkContext(conf = conf)


rdd = sc.parallelze([1,2,3,4,5])

#只保留偶数
rdd1 = rdd.filtre(lambda num: num % 2 == 0)

5、distinc算子

功能：对RDD数据进行去重，返回新的RDD，不需要传参

from pyspark SparkConf, SparkContext
import os
os.environ["PYSPARK_PYTHON"] = "D/hskdj/python.ext"

conf = SparkConf().setMaster("local[*]").setAppName("test_spark")
sc = SparkContext(conf = conf)


rdd = sc.parallelze([1,2,3.4.5.6，3,4,5])

#只保留偶数
rdd1 = rdd.dictinc()

2.6、sortBy算子

功能：对RDD数据进行排序，基于指定点排序顺序

rdd.sortBy(func,ascending=Flase,numPartition = 1)

1、处理函数可用lambda编写

2、函数表示用来决定排序的依据

3、可以控制升序或者降序

4、全局排序需要设置分区数为1

from pyspark SparkConf, SparkContext
import os
os.environ["PYSPARK_PYTHON"] = "D/hskdj/python.ext"

conf = SparkConf().setMaster("local[*]").setAppName("test_spark")
sc = SparkContext(conf = conf)

#读取文件
rdd = sc.textFile("D:/hello.txt")

#取出全部单词
rdd1 = rdd.flapMap(lambda x: x.split(" "))

#将所有单词都转换成二元元组
rdd2 = rdd1.map(lambda y: (y,1))


#分组求和
rdd3 = rdd2.reduceByKey(lambda a,b: a+b)

rdd4 = rdd3.sortBy(lambda x: x[1], ascending=False, numPartition=1)

#打印输出

2.7、案例2

代码

#案例2
#每行包含多个json，要先分离
from pyspark SparkConf, SparkContext
import json

import os
os.environ["PYSPARK_PYTHON"] = "D/hskdj/python.ext"

conf = SparkConf().setMaster("local[*]").setAppName("test_spark")
sc = SparkContext(conf = conf)

##----需求1：统计城市销售额---------
#读取文件
rdd = sc.textFile("D:/hello.txt")

#取出全部单词
str_rdd1 = rdd.flapMap(lambda x: x.split("|"))
#JSON转字典
dict_rdd = str_rdd1.map(lambda x: json.loads(x))

#取出城市和销售数据，搞成二元元组
rdd2 = dict_rdd.map(lambda x: (x['areaName'],int(x['money'])))

#分组聚合 reduceByKey
rdd3  =rdd2.reduceByKey(lambda A,B: A+B)
#排序
rdd4 = rdd3.sortBy(lambda x: x[1], ascending = False, numPartition=1)

##-----需求2：全部城市，有哪些商品在卖

#取出所有商品部类别，去重
rdd5 = rdd4.map(lambda x: x['category']).distinc()

##-----需求3：北京市有哪些商品在卖

#过滤，只保留北京
rdd6 = rdd5.filter(lambda x: x['areaName'] == 'beijing')

#取出所有商品类别
rdd7 = rdd6.map(lambda x: x['category']).distinc()

3、将RDD对象输出为python

代码

#collect算子
#将RDD各个分区内的数据，统一收集到driver中，形成一个List对象
#用法：rdd.collect()
#返回值是一个list

##RDD------>List



#reduce算子
#将RDD数据集合按照你传入的逻辑进行聚合
#用法：rdd.reduce(func)
#example:rdd.reduce(lambda a,b: a+b))
#类似有reduceByKey



#take算子
#取RDD的前N个元素，组合成lst返回给你
#用法：rdd.take(5)


#count算子
#计算RDD中元素个数
#用法:rdd.count()

3.1 RDD数据输出到文件中

#saveAsTextFile算子
##数据输出到文件中
#用法：rdd.saveAsTextFile("目标地址")



from pyspark SparkConf, SparkContext
import json

import os
os.environ["PYSPARK_PYTHON"] = "D/hskdj/python.ext"
os.environ['HADOOP_HOME']="D"/dev/hadoop-3.0.0"


conf = SparkConf().setMaster("local[*]").setAppName("test_spark")
sc = SparkContext(conf = conf)

#读取文件
rdd = sc.textFile("D:/hello.txt")

ou = rdd.saveAsTextFile("D:/output")
##环境配置完，重新跑时，要将文件夹中可能存在的output文件夹删除，不然会报错

直接进行转换会报错

这是因为环境缺少配置，

3.2 设置分区

1、RDD输出到文件的方法：1）rdd.saveAsTextFile(路径)；2）输出的结果是一个文件夹；3）有几个分区就输出多少个结果文件夹；

2、如何修改RDD分区：1）SparkConf对象设置conf.set("spark.default.parallelism","1")；2）创建RDD的时候，sc.parallelize方法传入numSlices参数为1

3.3 案例2

from pyspark SparkConf, SparkContext
import json

import os
os.environ["PYSPARK_PYTHON"] = "D/hskdj/python.ext"
os.environ['HADOOP_HOME']="D"/dev/hadoop-3.0.0"

conf = SparkConf().setMaster("local[*]").setAppName("test_spark")
conf.set("spark.default.parallelism","1")
sc = SparkContext(conf = conf)

#读取文件
rdd = sc.textFile("D:/hello.txt")

##TODO1 热门搜索时间段前三（小时精度）

##链式规则，一条完成
rdd1 = rdd.map9lambda x: x.split("\t")).\
        map(lambda x: x[0][:2]).\
        map(lambda x: (x,1)).\
        reduceByKey(lambda a,b: a+b).\
        sortBy(lambda x: x[1], ascending == False, numPartition == 1).\
        take(3)


##分步完成
#1.1 取出全部时间，并转化成小时
time_rdd = rdd.map(lambda x: x.split("\t")).map(lambda x: x[0][:2])
#1.2 转换为小时的二元元组
hour_rdd = time_rdd.flapMap(lambda x: (x,1))
#1.3 分组聚合
group_rdd = hour_rdd.reduceByKey(lambda x,y: x+y)
#1.4 排序
sort_rdd = group_rdd.sortBy(lambda x: x[1],ascending == False, numPartition == 1)
#取前三
out_rdd1 = sort.rdd.take(3)

##TODO2 热门搜索词前三
##链式写法
rdd2 = rdd.map(lambda x: (x.split("\t")[2],1)).\
        reduceByKey(lambda a,b: a+b).\
        sortBy(lambda x: x[1], ascending = Flase, numPartition = 1).\
        take(3)

#分步写法
#2.1 取出全部搜索词
word_rdd = rdd.map(lambda x: x.split("\t")).map(lambda x: x[2])
#2.2 转换为，key=搜索词；value=1的二元元组
word_rdd1 = word.rdd.map(lambda x: (x,1))
#2.3 分组聚合
group_rdd1 = word_rdd1.reduceByKey(lambda a,b: a+b)
#2.4 排序
sort_rdd1 = group_rdd1.sortBy(lambda x: x[1], ascdending =False, numPartition = 1)
#2.5 取出前3
out_rdd2 = sort_rdd1.take(3)

##TODO3 统计黑马程序员在什么时间段搜素最多
##链式写法
rdd3 = rdd.map(lambda x: (x.split("\t")[2],1)).\
        filter(lambder x: x == "黑马程序员").\
        reduceByKey(lambda a,b: a+b).\
        sortBy(lambda x: x[1], ascending = True, numPartition = 1).\
        take(1`)

##分步写法
#3.1 过滤内容，只保留 黑马程序员关键字
heima_rdd = word_rdd.filter(lambda x: x == "黑马程序员")
#3.2 转换为二元元组
group_rdd2 = heima_rdd.map(lambda x: (x,1))
#3.3 分组聚合
group_rdd22 = group_rdd2.reduceByKey(lambda a,b: a+b)
#3.4 排序
sort_rdd2 = group_rdd2.sortBy(lambda x: x[1], ascdening = True, numPartition = 1)
#3.5 取最高
out_rdd3 = sort_rdd2.take(1)


##TODO4 有效数据转换成json格式，并写入到文件中
##链式写法
rdd4 = rdd.map(lambda x: x.split("\t")).\
        map(lambda x: {"time": x[0], "user_id": x[1], "key_word": x[2],"randk1": x[3], "randk2": x[4], "url": x[5]}).\
        saveTextFile("D:/output_json")
##分步写法
#4.1 转换为json形式的RDD
rdd4 = rdd.map(lambda x: x.split("\t"))
rdd5 = rdd4.map(lambda x: {"time": x[0], "user_id": x[1], "key_word": x[2],"randk1": x[3], "randk2": x[4], "url": x[5]}).\
        
#4.2 导出到文件中
out = rdd5.saveTextFile("D:/output_json")

筱雨Mia
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
pyspark-examples
04-14
中提供了该项目中所有PySpark RDD，DataFrame和SQL示例的说明，所有这些示例均以Python语言编码并在我们的开发环境中进行了测试。 目录（Python中的火花示例） PySpark基本示例 PySpark –功能 PySpark –这是什么？ ＆谁使用它？ PySpark DataFrame示例 PySpark –创建一个DataFrame PySpark –创建一个空的DataFrame PySpark –将RDD转换为DataFrame PySpark –将DataFrame转换为Pandas PySpark – StructType和StructField 在DataFrame和RDD上使用PySpark行 从PySpark DataFrame中选择列 PySpark Collect（）–从DataFrame检索数据 PySpark withColumn
pyspark example
weixin_30505225的博客
02-16 284
1. download http://spark.apache.org/downloads.html I chosedspark-1.6.0-bin-hadoop2.4 2. mv it to /usr/local/src/ 3.edit .bashrc export SPARK_HOME=/usr/local/src/spark-1.6.0-bin-hado...
分布式的计算框架之Spark（python第三方库视角学习PySpark）
最新发布
NHB234567的博客
05-07 1693
Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。现在形成一个高速发展应用广泛的生态系统。特点介绍Spark 主要有三个特点：首先，高级 API 剥离了对集群本身的关注，Spark 应用开发者可以专注于应用所要做的计算本身。其次，Spark 很快，支持交互式计算和复杂算法。最后，Spark 是一个通用引擎，可用它来完成各种各样的运算，包括 SQL 查询、文本处理、机器学习等，而在 Spark 出现之前，我们一般需要学习各种各样的引擎来分别处理这些需求。（来源百度百科）
pysparkexample.py-20180713
vicky428的博客
07-23 181
# -*- coding: utf-8 -*- """ Created on Fri Jul 13 10:03:33 2018 @author: wenyun.wxw """ #http://help.aliyun-inc.com/internaldoc/detail/49805.html?spm=a2c1f.8259796.2.243.dwy2KN from odps.odps_sdk im...
PySpark_Example_Codes
03-03
PySpark_RDD_Example
pyspark-example-project:为PySpark ETL工作和应用程序实施最佳实践的示例项目
05-02
PySpark示例项目 本文档旨在与pyspark-template-project存储库中的代码并行阅读。 这些共同构成了我们认为是使用Apache Spark及其Python（'PySpark'）API编写ETL作业的“最佳实践”方法。 该项目解决以下主题： 如何以易于测试和调试的方式构造ETL代码； 如何将配置参数传递给PySpark作业； 如何处理对其他模块和软件包的依赖； 和， 构成对ETL工作的“有意义”测试。 ETL项目结构 基本项目结构如下： root/ | -- configs/ | | -- etl_config.json | -- dependencies/ | | -- logging.py | | -- spark.py | -- jobs/ | | -- etl_job.py | -- tests/ | | --
Python学习笔记——大数据之SPARK核心
02-24
本文来自于csdn，文章讲解RDD的特点，RDD操作函数相关，穿插案例辣酱得段子，带大家理解MapReduce，通过哈姆雷特单词分析案例进行深度剖析。RDD（ResilientDistributedDatasets弹性分布式数据集），是spark中最重要...
spark 笔记、学习笔记、资料
07-01
使用Spark的交互式shell，如Scala shell（`bin/spark-shell`）或Python shell（`bin/pyspark`），可以直接试验和运行Spark代码，无需手动创建`SparkContext`。通过`--master`参数设置集群URL，`--jars`参数添加JAR到...
Pyspark
03-17
大数据的Python和火花 适用于Python的课程笔记本和适用于大数据的Spark 课程大纲： 课程介绍 促销/介绍视频 课程大纲 Spark，RDD和Spark 2.0简介 课程设置 设置概述 EC2安装指南 ...带有PySpark示例
Linux下远程连接Jupyter+pyspark部署教程
09-15
Jupyter Notebook是一个交互式笔记本，适用于数据科学和机器学习项目。通过`pip install jupyter`命令即可安装。为了实现远程连接，我们需要配置Jupyter Notebook。首先，生成一个密码，通过在Python环境中运行`from...
pyspark-pictures:通过图片和简单示例学习pyspark API
05-26
通过图片和简单示例学习pyspark API 在NBViewer上查看 RDD示例： # flatMap x = sc . parallelize ([ 1 , 2 , 3 ]) y = x . flatMap ( lambda x : ( x , 100 * x , x ** 2 )) print ( x . collect ()) print ( y ...
PySpark（一）
u014033218的专栏
01-20 930
PySpark（一） 其中Spark主要是由Scala语言开发，为了方便和其他系统集成而不引入scala相关依赖，部分实现使用Java语言开发，例如External Shuffle Service等。总体来说，Spark是由JVM语言实现，会运行在JVM中。然而，Spark除了提供Scala/Java开发接口外，还提供了Python、R等语言的开发接口，为了保证Spark核心实现的独立性，Spar...
PySpark简介、搭建以及使用
菜鸟也学大数据的博客
01-29 7736
一、PySparj简介 使用场景 大数据处理或机器学习时的原型（ prototype）开发 验证算法 执行效率可能不高 要求能够快速开发 结构体系 二、PySpark集成搭建 准备环境：JDK、Spark需要提前安装好 下载Anaconbda 地址：点击这里 选择：Anaconda3-5.1.0-Linux-x86_64.sh 至于版本最好不要使用过低版本，可能无法使用 安装bzip2 缺少 bzip2 安装 Anaconda 会失败 在Linux下安装bzip2：yum insta
Python学习之PySpark案例实战
阿澈不吃蒜的博客
05-25 1万+
Spark是什么Apache Spark是用于。
Pyspark 基础知识
不忘初欣丶的博客
04-05 3302
Pyspark基础知识，包括Pyspark基本介绍，和Spark框架对比，WordCount执行流程，Pyspark执行原理等
【数据开发】pyspark入门与RDD编程
小哈里的博客
02-02 2180
pyspark的用途机器学习专有的数据分析。数据科学使用Python和支持性库的大数据。spark与pyspark的关系spark是一种计算引擎，类似于hadoop架构下mapreduce，与mapreduce不同的是将计算的结果存入hdfs分布式文件系统。spark则是写入内存中，像mysql一样可以实现实时的计算，包括SQL查询。spark不单单支持传统批量处理应用，更支持交互式查询、流式计算、机器学习、图计算等各种应用，
PySpark基础入门（1）：基础概念＋环境搭建
WHY的博客
05-01 3803
pyspark基础知识学习第一篇，介绍了spark的基础概念以及PySpark的环境搭建，包括local，standAlone以及spark on yarn
PySpark 相关基础知识
热门推荐
weixin_42331985的博客
04-12 1万+
主要介绍Pyspark相关的知识，Pycharm配置Spark，Conda管理Python环境
【ML】第 2 章：PySpark 简介
sikh_0529的博客
01-08 1955
通常，您会想要控制跟随并提供您的自定义模式。这使得代码本身的协作和可重复性成为可能。它还可以节省您以后调试问题的宝贵时间。那么，如何使用 Spark 做到这一点？您将需要创建一个 StructType() 并在阅读期间将其作为所需模式传递给阅读器。在结构类型中，使用专用 API 添加所有列名称和类型。在上面的示例中，添加功能中有 True。这意味着该值可以为空。
MySQL5.7学习笔记.pdf
09-07
MySQL5.7学习笔记涵盖了数据库与数据库管理系统的基本概念，以及MySQL这款流行的开源关系型数据库管理系统的关键特性。首先，数据库作为存储数据的基础设施，被比喻为数据的“仓库”，其本质是一个组织化的文件系统...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值