Pyspark学习笔记

已于 2024-08-13 15:54:59 修改
阅读量323 收藏 6
点赞数 5
文章标签： 学习 笔记
于 2024-08-12 21:37:15 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_73893402/article/details/141138846
版权

文章目录

0. 前言

这里是我在学习Spark中的一些个人整理的笔记， 所以全文都只是我的个人理解，可能会出现错误，也有可能并不是那么的规范。这里并没有完全写完，因为这是我在学习的过程中写的，后续会不断的补充和修正。

1. Spark环境安装

这里我使用的是三台linux虚拟机集成的环境, 使用的端口号为:
192.168.88.161 node1
192.168.88.162 node2
192.168.88.163 node3
并且在三台虚拟机上都安装了anaconda并创建了虚拟环境, 但是并没有构建Spark集群, 即只在node1上安装了Spark, 这里不做过多的演示.

2. Pyspark入门

2.1 pyspark入门案例

2.1.1 从HDFS上读取文件并实现排序

  1. 启动hdfs集群
# 启动所有集群, 既然也启动了hdfs集群, 这里只需要在node1上运行即可
start-all.sh
# 确定是否启动成功
jps
  1. 将需要处理的文件上传到hdfs上
    在这里插入图片描述
    这里是我的需要处理的文件在node1虚拟机上的位置
cd /tmp/pycharm_project_715/day01/data  # 这里是我的需要处理的文件所在文件夹的路径
# 前面一个是linux中文件所在路径, 由于在执行该语句之前我们已经cd到了所在文件夹, 所以这里的相对路径就只是word.txt
# 后面一个是要存储到hdfs上的路径
hdfs dfs -put word.txt /data/word.txt

该文件的内容为:

hello you Spark Flink
hello me hello she Spark
spark hadoop hadoop
hive hbase

  1. 编写pyspark代码处理文件
    需求: 需要将这四行数据从hdfs中读取(或在linux本地读取), 并统计单词出现的次数
思路
  1. 对文件进行分割, 将每一列以空格为分隔符分割, 并将四行合并到一起
  1. 将单词转化为 (hello, 1) 的形势, 方便后续统计
  1. 将该元组tup[0]相同的元组合并
from pyspark import SparkContext, SparkConf

import os

os.environ['SPARK_HOME'] = '/export/server/spark'
os.environ['PYSPARK_PYTHON'] = '/root/anaconda3/bin/python3'
os.environ['PYSPARK_DRIVER_PYTHON'] = '/root/anaconda3/bin/python3'
os.environ['JAVA_HOME'] = '/export/server/jdk1.8.0_241'

if __name__ == '__main__':
    # 1. 创建运行环境
    # setMaster设置集群格式, 这里选择的是linux本地执行, 且分配能分配的最多核
    # setAppName设置业务名称, 这里根据需求设置即可, 没有固定的值
    conf = SparkConf().setMaster('local[*]').setAppName('统计单词')
    sc = SparkContext(conf=conf)

    # 2. 读取文件
    # rdd_file = sc.textFile('file:///tmp/pycharm_project_715/day01/data/word.txt') # 从linux本地中读取文件, 格式为 file://linux虚拟机本地存储的位置
    rdd_file = sc.textFile('hdfs://node1:8020/data/word.txt')   # 从hdfs中读取文件, 格式为 hdfs://虚拟机地址(这里由于我的电脑配置了地址, 否则需要192.168.88.161):8020/需要读取的文件地址

    # 3. 对文件进行处理
    # 3.1 对文件进行分割, 将每一列以空格为分隔符分割, 并将四行合并到一起
    rdd_flat = rdd_file.flatMap(lambda line: line.split())
    # 3.2 将单词转化为(hello, 1)的形势, 方便后续统计
    rdd_tup = rdd_flat.map(lambda word: (word, 1))
    # 3.3 将该元组tup[0]相同的元组合并
    result = rdd_tup.reduceByKey(lambda x, y: x + y)
    print(result.collect())

2.1.2 基于Spark-Submit方式运行

上述2.1.1 的入门案例中的代码是在pycharm中运行的, spark还有一种运行方式, 就是Spark-Submit方式, 这个文件所在位置为/export/server/spark/bin/spark-submit, 即spark安装位置/bin/spark-submit

 # cd切换到spark安装路径的bin目录下
cd /export/server/spark/bin
# 使用spark-submit运行刚刚写的python脚本文件, 格式为: 
# spark安装地址/bin/spark-submit --master local[*](这里是设置在linux本地运行, 也可以选择yarn集群运行) python脚本位置
./spark-submit \
--master local[*] \
/tmp/pycharm_project_715/day01/src/01-pyspark-wordcount-hdfs.py

2.2 Spark On Yarn 环境搭建

2.2.1 Spark On Yarn的本质

SparkOnYearn的本质就是把spark应用提交到Yarn，由Yarn进行统一的调度和管理
这种方式是在公司使用比较多的方式

2.2.2 配置 Spark On Yarn

  1. 修改spark-env.sh
cd /export/server/spark/conf
cp spark-env.sh.template spark-env.sh
vim /export/server/spark/conf/spark-env.sh

添加以下内容:
HADOOP_CONF_DIR=/export/server/hadoop/etc/hadoop
YARN_CONF_DIR=/export/server/hadoop/etc/hadoop
SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://node1:8020/sparklog/ -Dspark.history.fs.cleaner.enabled=true"

同步到其他两台(单节点时候, 不需要处理)
cd /export/server/spark/conf
scp -r spark-env.sh node2:$PWD
scp -r spark-env.sh node3:$PWD
  1. 修改hadoop的yarn-site.xml
cd /export/server/hadoop-3.3.0/etc/hadoop/
vim /export/server/hadoop-3.3.0/etc/hadoop/yarn-site.xml

添加以下内容, 将以下内容添加到<configuration>  </configuration>中:
    <!-- 设置yarn集群的内存分配方案 -->
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>20480</value>
    </property>
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>2048</value>
    </property>
    <property>
        <name>yarn.nodemanager.vmem-pmem-ratio</name>
        <value>2.1</value>
    </property>

将以上操作同步到其他两台虚拟机中

cd /export/server/hadoop/etc/hadoop
scp -r yarn-site.xml node2:$PWD
scp -r yarn-site.xml node3:$PWD
  1. Spark设置历史服务地址
cd /export/server/spark/conf
cp spark-defaults.conf.template spark-defaults.conf
vim spark-defaults.conf

添加以下内容:
spark.eventLog.enabled                  true
spark.eventLog.dir                      hdfs://node1:8020/sparklog/
spark.eventLog.compress                 true
spark.yarn.historyServer.address        node1:18080


配置后, 需要在HDFS上创建 sparklog目录
hdfs dfs -mkdir -p /sparklog

设置日志级别:

cd /export/server/spark/conf
cp log4j.properties.template log4j.properties
vim log4j.properties

修改以下内容:(在公司开发中, 日志显示等级为WARN即可, 但是由于这里是学习阶段, 多看看日志, 所以这里我暂时没有改)

在这里插入图片描述

# 同步到其他节点(不需要同步, spark只有单节点)
cd /export/server/spark/conf
scp -r spark-defaults.conf log4j.properties node2:$PWD
scp -r spark-defaults.conf log4j.properties node3:$PWD
  1. 配置依赖spark jar包

当Spark Application应用提交运行在YARN上时，默认情况下，每次提交应用都需要将依赖Spark相关jar包上传到YARN集群中，为了节省提交时间和存储空间，将Spark相关jar包上传到HDFS目录中，设置属性告知Spark Application应用。

# 在hdfs中创建/spark/jars文件夹, 并将linux本地中spark中的jars文件夹中的所有文件复制到hdfs上
hadoop fs -mkdir -p /spark/jars/
hadoop fs -put /export/server/spark/jars/* /spark/jars/

# 修改spark-defaults.conf
cd /export/server/spark/conf
vim spark-defaults.conf
添加以下内容:
spark.yarn.jars  hdfs://node1:8020/spark/jars/*

同步到其他节点, 由于我只在node1上配置了spark, 所以这里不需要执行, 但是如果你搭建了spark集群, 这里也可以配置一下

cd /export/server/spark/conf
scp -r spark-defaults.conf root@node2:$PWD
scp -r spark-defaults.conf root@node3:$PWD
  1. 启动服务
    Spark Application运行在YARN上时，上述配置完成
    启动服务：HDFS、YARN、MRHistoryServer和Spark HistoryServer，命令如下：
# 启动HDFS和YARN服务，在node1执行命令
start-dfs.sh
start-yarn.sh
# 或
start-all.sh
# 注意：在onyarn模式下不需要启动start-all.sh（jps查看一下看到worker和master）

# 启动MRHistoryServer服务，在node1执行命令
mr-jobhistory-daemon.sh start historyserver

# 启动Spark HistoryServer服务，，在node1执行命令
/export/server/spark/sbin/start-history-server.sh

Spark HistoryServer服务WEB UI页面地址：
http://node1:18080/

  1. 测试修改结果
    先将圆周率PI程序提交运行在YARN上，命令如下：
SPARK_HOME=/export/server/spark
${SPARK_HOME}/bin/spark-submit \
--master yarn \
--conf "spark.pyspark.driver.python=/root/anaconda3/bin/python3" \
--conf "spark.pyspark.python=/root/anaconda3/bin/python3" \
${SPARK_HOME}/examples/src/main/python/pi.py \
10

2.3 Spark 程序与PySpark交互流程

2.3.1 spark-submit提交任务到spark集群，部署模式是client模式

1 启动Driver
2 向Master申请资源
3 Master向Driver分配资源 返回资源列表
Executor1 : node1 1core 2G
Executor2 : node3 1core 2G
4 连接对应的worker节点，通知它们启动Executor，当worker启动完成后，会反向注册到dirver（通知driver）
5 启动main程序
5.1 启动sparkcontext，构造出sc对象，基于py4j把python程序转成java程序进行执行
5.2 当sc启动完成后，会把后续的rdd相关程序合并在一起，根据RDD的依赖关系，形成一个DAG的执行图。根据DAG可以划分出有几个阶段，每个阶段有多少个线程，每个线程运行在那个executor上（任务分配）
5.3 每个阶段有多少个线程，每个线程运行在那个executor上确定后，把任务分发到对应的executor执行
5.4 executor获取到分发的任务后，开始执行，Task执行完成后把结果返回给driver。前提是有需要返回结果的操作，比如collect，也有操作不需要返回结果比如saveAsTextFile
5.5 当driver获取所有的executor返回的结果之后，开始执行非RDD程序，通知master关闭sc，执行资源回收的工作

2.3.2 spark-submit提交任务到spark集群，部署模式是cluster模式

1 首先把任务提交到主节点
2 Master根据Driver资源信息，在worker节点中随机找一台符合要求的节点，启动Driver，把任务提交Driver
3 对应worker节点接收到任务后，启动Driver，并且和Master保持心跳机制，告知master启动成功，申请资源
4 master根据申请的资源在集群中进行查找，返回资源列表
Executor1 : node1 1core 2G
Executor2 : node3 1core 2G
5 连接对应的worker节点，通知它们启动Executor，当worker启动完成后，会反向注册到dirver（通知driver）
6 启动main程序
6.1 启动sparkcontext，构造出sc对象，基于py4j把python程序转成java程序进行执行
6.2 当sc启动完成后，会把后续的rdd相关程序合并在一起，根据RDD的依赖关系，形成一个DAG的执行图。根据DAG可以划分出有几个阶段，每个阶段有多少个线程，每个线程运行在那个executor上（任务分配）
6.3 每个阶段有多少个线程，每个线程运行在那个executor上确定后，把任务分发到对应的executor执行
6.4 executor获取到分发的任务后，开始执行，Task执行完成后把结果返回给driver。前提是有需要返回结果的操作，比如collect，也有操作不需要返回结果比如saveAsTextFile
6.5 当driver获取所有的executor返回的结果之后，开始执行非RDD程序，通知master关闭sc，执行资源回收的工作

2.3.3 spark-submit提交任务到yarn集群，部署模式是client模式

在这里插入图片描述

1 启动Driver
2 连接到yarn主节点（ResurceManager）向主节点提交资源任务（最终启动executor）
3 yarn主节点接收到任务后，会选择一个nodeManager，启动AppMaster，启动后，和ResourceManager建立心跳机制，通知主节点appmaster启动成功
4 appmaster根据提交的资源信息向ResourceManager申请资源，通过心跳方式发送请求，不断向ResoureManager询问
5 一旦appmaster检测到资源准备完成，也会获取资源信息列表，appmaster根据资源信息列表，找到对应的nodeManager启动Executor
6 当Executor启动完成后，会通知appMaster并且通知Driver
7 启动main程序
7.1 启动sparkcontext，构造出sc对象，基于py4j把python程序转成java程序进行执行
7.2 当sc启动完成后，会把后续的rdd相关程序合并在一起，根据RDD的依赖关系，形成一个DAG的执行图。根据DAG可以划分出有几个阶段，每个阶段有多少个线程，每个线程运行在那个executor上（任务分配）
7.3 每个阶段有多少个线程，每个线程运行在那个executor上确定后，把任务分发到对应的executor执行
7.4 executor获取到分发的任务后，开始执行，Task执行完成后把结果返回给driver。前提是有需要返回结果的操作，比如collect，也有操作不需要返回结果比如saveAsTextFile
7.5 当driver获取所有的executor返回的结果之后，开始执行非RDD程序，通知appmaster关闭sc，回收资源

2.3.4 spark-submit提交任务到yarn集群，部署模式是cluster模式

在这里插入图片描述

yarn的client模式和cluster模式区别
client下：Driver和app Master是两个不同程序
Driver负责任务分配 监控 管理工作
appMaster负责申请资源启动executor
cluster模式下：Driver和AppMaster合二为一，作用合在一起

3. RDD操作

3.1 Spark Code

3.1.1 RDD的基本介绍

RDD:弹性分布式数据集

早期计算模式是python + mysql, 这只适用于小规模数据, 不适合扩展

随着计算的发展, 数据的规模也在不断变大, 单机模式已经不适用于需求了, 所以出现了分布式技术, 也就是hadoop中的MR(mapreduce)

MR流程:
首先读取数据到内存，对数据进行转换处理，把处理的结果写入环形缓冲区(内存)，当缓冲区满了则写入到磁盘。如果有多个缓冲区的内容，则进行合并，最终把结果存储在磁盘中。

这种处理流程，在有限的资源下可以处理大规模数据, 但是使用mr进行数据处理效率非常低, 有大量的磁盘交互工作, 因此出现了高效计算和迭代工具 spark(RDD)

3.1.2 RDD的特性

1 可分区: 每个RDD都必须是可以分区的，每个分区代表一个Task线程，可分区也是分布式的基本要求
2 计算函数会作用在每个分区: 每个RDD都是由一个计算函数得到的，计算函数作用在每个分区上
3 RDD之间存在依赖关系
4 对于kv类型rdd存在分区函数
5 移动存储不如移动计算(让计算和数据更近)

3.1.3 RDD的特点

1 RDD可分区
2 RDD是只读（不能更改）
3 RDD之间有依赖：宽依赖，窄依赖
4 RDD每次计算都会重新计算，需要把结果缓存下来，RDD不保存数据
5 检查点(checkpoint)，相当于对结果进行备份。当RDD的依赖关系越来越长，为了减少因为计算失败导致回溯效率低问题，不要再检查之前的依赖关系，直接从检查点的位置获取结果即可

3.1.4 如何构建RDD

3.1.4.1 设置pycharm运行模板

在讲述如何创建RDD之前, 我想先讲一下如何在pycharm中设置模板
在这里插入图片描述
在这里插入图片描述

这里是模板内容

from pyspark import SparkContext, SparkConf

import os

os.environ['SPARK_HOME'] = '/export/server/spark'
os.environ['PYSPARK_PYTHON'] = '/root/anaconda3/bin/python3'
os.environ['PYSPARK_DRIVER_PYTHON'] = '/root/anaconda3/bin/python3'
os.environ['JAVA_HOME'] = '/export/server/jdk1.8.0_241'

if __name__ == '__main__':
    print('pyspark模板')
    # 初始化spark
    conf = SparkConf().setMaster('local[*]').setAppName('APP')      # 这里的APP需要根据业务名称修改
    sc = SparkContext(conf=conf)
3.1.4.2 构建RDD的两种方法
  1. 通过并行化的方式把代码中数据构建RDD，测试中使用
# 使用parallelize将代码中数据构建成RDD格式
rdd_init = sc.parallelize([1, 2, 3, 4, 5])
  1. 通过读取外部数据的方式构建RDD，生产中使用

在之前的样例中读取hdfs或linux本地的word.txt文件时, 就是使用的这种方式

# hdfs
rdd_file = sc.textFile('hdfs://node1:8020/data/word.txt')	# 读取hdfs上 /data/word.txt文件
rdd_file = sc.textFile('hdfs://node1:8020/data')			# 读取hdfs上 /data 目录下的所有文件

# linux本地
rdd_file = sc.textFile('file:///tmp/data')					# 读取linux本地上 /tmp/data目录下的所有文件, 注意, 这里的 /// 最后一个是由于linux的根目录为 / , 所以其他文件都是以/开头的

3.1.5 RDD算子相关操作

3.1.5.1 RDD算子分类

RDD中算子可以分为两类: transformation（转换算子）、action（动作算子）

转换算子:

  1. 返回的结果都是新的RDD（RDD是只读）
  2. 所有的转换算子都是惰性的，只有遇到action算子才会真正的执行
  3. RDD不存储数据，只存储转换的规则，遇到action算子后对数据进行处理

动作算子:

  1. 返回的结果不是RDD或者没有返回值
  2. 所有的动作算子都是立即执行的，每个action操作都会触发任务

3.1.5.2 transformation转换算子介绍

  1. glom, getNumPatitions, collect

glom: 显示如何分区
getNumPatitions: 获取分区数量
collect: 获取整个RDD的完整内容(不显示分区情况)

    # 创建rdd, 第二个参数为分区数, 默认为2
    rdd_init = sc.parallelize([1, 2, 3, 4, 5, 6], 3)
    # 打印rdd_init的分区情况
    print('rdd_init的分区情况:', rdd_init.getNumPartitions())
    # 打印rdd_init的内容(不显示分区)
    print('rdd_init的内容(不显示分区)', rdd_init.collect())
    # 打印rdd_init的内容(显示分区)
    print('rdd_init的内容(显示分区)', rdd_init.glom().collect())

运行结果:
在这里插入图片描述

  1. map
TsukiQWQ
关注
Spark笔记（pyspark）
算法工程师
02-01 2459
Spark笔记1、基本概念2、架构设计3、Spark运行流程4、弹性分布数据集(RDD)1.groupByKey和reduceByKey的区别2. 哪两个Action算子的结果不经过Driver, 直接输出?3. mapPartitions 和 foreachPartition 的区别?5、Shuffle与依赖6、持久化1. Cache和Checkpoint区别2. Cache 和 CheckPoint的性能对比?7、Spark On Yarn两种模式总结8、Spark内核调度............
Pyspark学习笔记（四）弹性分布式数据集 RDD 综述（上）
朝花&夕拾
06-25 1040
RDD 基本简介(上)
pyspark的安装与配置
张张张
04-22 7136
我们从pyspark就可以看出来 是python与spark俩者的结合,所以我们就需要在vm里面安装python,和spark第一步:    准备python此时的python 即 Anaconda 为一个.sh文件可以直接运行:bash Anaconda3-5.1.0-Linux-x86_64.sh当你运行后会发现有一个提示:    它是指当前没有安装bzip2,所以我们需要安装bzip2,不要...
pySpark概述及环境搭建（local模式，Stand alone模式（非HA））
2202_75347029的博客
09-12 1566
Apache Spark 是用于大规模数据（large-Scala data）处理的统一（unified）分析引擎。其特点是对任意类型的数据进行自定义计算结构化、半结构化、非结构化等各种类型的数据结构，同时也支持使用python、Java、Scala、R以及SQL语言取开发程序计算数据。
python学习之路 - PySpark快速入门
最新发布
qq_41444892的博客
08-31 1551
pyspark快速入门
3. PySpark的基本操作
chendengyi2的博客
07-29 1444
在分组查询（GROUP BY）。groupBy()方法可以根据指定的字段进行分组，在groupBy()方法之后，通常使用统计方法进行计算，如：count()（总和，仅用于数值型字段），mean()、max()、min()、sum()等。从结果可以看出，苹果和荔枝的季度排名差分别为7和6，名列排名差的第一和第二位，它们是季节性最强的水果。**right/right_outer：**这种join就是把右边的表的所有行都取出来，如果左边表有匹配的行，就用匹配的行，如果左边表没有匹配的行，就用NULL代替。
pyspark
热门推荐
咖啡男孩之SRE之路
03-13 1万+
本文主要介绍python如何通过pyspark的API操作spark
PySpark
rainyrainbow的博客
11-30 442
PySpark 是 Spark 为 Python 开发者提供的 API ，位于 $SPARK_HOME/bin 目录，其依赖于 Py4J。 系统环境 Linux Ubuntu 14.04 jdk-7u75-linux-x64 hadoop-2.6.0-cdh5.4.5 scala-2.10.4 spark-1.6.0-bin-hadoop2.6 python3.4 PyCharm 1.在Pycha...
Pyspark学习笔记（四）弹性分布式数据集 RDD 综述（下）
朝花&夕拾
08-12 626
文章目录前言一、PySpark RDD 持久化①` cache()`②` persist() `③ `unpersist() `二、持久性存储级别`MEMORY_ONLY ``MEMORY_AND_DISK``DISK_ONLY``MEMORY_ONLY_2``MEMORY_AND_DISK_2``DISK_ONLY_2`三、共享变量1.广播变量（只读共享变量）i 广播变量 ( broadcast variable)ii 创建广播变量2.累加器变量（可更新的共享变量） 前言 本篇主要讲述了如何在执行p.
Learning PySpark
03-04
About This Book, Learn why and how you can efficiently use Python to process data and build machine learning models in Apache Spark 2.0Develop and deploy efficient, scalable real-time Spark solutionsTake your understanding of using Spark with Python to the next level with this jump start guide, Who This Book Is For, If you are a Python developer who wants to learn about the Apache Spark 2.0 ecosystem, this book is for you. A firm understanding of Python is expected to get the best out of the book. Familiarity with Spark would be useful, but is not mandatory., What You Will Learn, Learn about Apache Spark and the Spark 2.0 architectureBuild and interact with Spark DataFrames using Spark SQLLearn how to solve graph and deep learning problems using GraphFrames and TensorFrames respectivelyRead, transform, and understand data and use it to train machine learning modelsBuild machine learning models with MLlib and MLLearn how to submit your applications programmatically using spark-submitDeploy locally built applications to a cluster, In Detail, Apache Spark is an open source framework for efficient cluster computing with a strong interface for data parallelism and fault tolerance. This book will show you how to leverage the power of Python and put it to use in the Spark ecosystem. You will start by getting a firm understanding of the Spark 2.0 architecture and how to set up a Python environment for Spark., You will get familiar with the modules available in PySpark. You will learn how to abstract data with RDDs and DataFrames and understand the streaming capabilities of PySpark. Also, you will get a thorough overview of machine learning capabilities of PySpark using ML and MLlib, graph processing using GraphFrames, and polyglot persistence using Blaze. Finally, you will learn how to deploy your applications to the cloud using the spark-submit command., By the end of this book, you will have established a firm understanding of the Spark Python API and how it can be used t
learn-pyspark
08-10
PySpark 提供的类编辑 pyspark.SparkConf pyspark.SparkConf 类提供了对一个 Spark 应用程序配置的操作方法。用于将各种Spark参数设置为键值对。 pyspark.SparkContext pyspark.SparkContext 类提供了应用与 Spark 交互的主入口点，表示应用与 Spark 集群的连接，基于这个连接，应用可以在该集群上创建 RDD 和 广播变量 (pyspark.Broadcast) pyspark.SparkFiles SparkFiles 只包含类方法，开发者不应创建 SparkFiles 类的实例[2] 。 pyspark.RDD 这个类是为 PySpark 操作 RDD
Pyspark学习笔记（五）RDD操作(四)_RDD连接/集合操作
朝花&夕拾
08-18 1739
朋友
Pyspark学习笔记（一）---序言及目录
朝花&夕拾
05-25 559
前言 提示：自己学习Pyspark时所记录笔记，以便日后回忆 1.学习spark时的一些 官方API和参考文档 ################ Spark Python API and Docs ################### Spark Python API Docs i.pyspark package ii.pyspark.sql module iii.pyspark.ml package iv.pyspark.streaming module v.pyspark.mllib p..
Pyspark学习笔记（六）DataFrame简介
朝花&夕拾
09-12 702
Pyspark学习笔记（六） 文章目录Pyspark学习笔记（六）前言DataFrame简介一、什么是 DataFrame ？二、RDD 和 DataFrame 和 Dataset三、选择使用DataFrame / RDD 的时机 前言 本篇博客讲的是DataFrame的基本概念 DataFrame简介 主要参考文献： A Tale of Three Apache Spark APIs: RDDs vs DataFrames and Datasets RDDs vs. Dataframes
PySpark（一）
u014033218的专栏
01-20 966
PySpark（一） 其中Spark主要是由Scala语言开发，为了方便和其他系统集成而不引入scala相关依赖，部分实现使用Java语言开发，例如External Shuffle Service等。总体来说，Spark是由JVM语言实现，会运行在JVM中。然而，Spark除了提供Scala/Java开发接口外，还提供了Python、R等语言的开发接口，为了保证Spark核心实现的独立性，Spar...
PySpark（Spark3.0）
小宇的博客
04-22 4714
PySpark（Spark3.0） PySpark简单来说就是Spark提供的Python编程API，包括交互式的PySpark shell和非交互式的Python程序。 1.环境 Spark3.0 Hadooop3.2 Centos7 Python3.6.8 Pycharm Windos10 其中值得注意的是Python的版本必须是3.6+，以下是Spark官网的说明 前提 ​ Spark3.0的集群已经搭建完毕，本文使用的是Standalone模式的集群 ​ Hadoop3.2分布式集群
【Python】PySpark
qq_45917176的博客
08-27 1967
PySpark
PySpark学习指南：从环境搭建到SparkSQL与SparkStreaming
本文档详细介绍了如何学习和使用Apache Spark的PySpark接口，特别是针对Spark 2.3版本，该版本对Python的支持已经非常成熟。文档首先列出了课程安排，涵盖从环境搭建到综合项目实战的全过程，强调了理论与实践相结合...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值