从一段代码浅谈pyspark性能优化

最新推荐文章于 2024-11-11 14:29:53 发布

置顶

东南枝DP

最新推荐文章于 2024-11-11 14:29:53 发布

阅读量6.4k

点赞数 8

分类专栏： spark hadoop 文章标签： spark pyspark join 优化分布式

本文链接：https://blog.csdn.net/asdfghjkl1993/article/details/79557869

版权

本文探讨了在pyspark中处理大规模数据join时遇到的性能问题，提出通过广播小表、调整join策略、设置合适的shuffle参数以及使用checkpoint来优化。对于大表，直接广播可能导致内存不足，应谨慎使用map-join。优化后的代码在7分钟内完成了原本3小时未完成的任务。

摘要由CSDN通过智能技术生成

问题引出

我们在日常的特征工程中，常常需要将多张表进行关联操作，也就是所谓的join。现在有三张表A,B,C，其中A表数据总大小约300M, B表总数据大小约15G，C表数据总大小约400G，现在的需求是对这三张表做join，该如何实现？

常规做法

最简单的一种实现，就是先将其中的两张表join，再将剩下的一张表做join，代码如下：

sc = SparkSession\
        .builder\
        .appName("Test")\
        .getOrCreate()

A = sc.sparkContext.textFile("...")
B = sc.sparkContext.textFile("...")
C = sc.sparkContext

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

东南枝DP

关注关注

8
点赞
踩
7

收藏

觉得还不错? 一键收藏
2
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

pyspark性能优化之join(放弃isin)

02-21

1896

pandas isin 长期使用速度非常快 pyspark isin 对比速度非常的慢思路参考文章 https://www.pythonheidong.com/blog/article/400508/6b647ae338b352406ce5/ 以下为改进的操作 #leftouter操作 fmqd=pd.read_excel('2022年负面清单.xlsx') # 字段需要指定，不然会出现报错 fmqd['项目编码']=fmqd['项目编码'].astype(str) # 字段名相同容易join fmqd.

PySpark基本入门（附python代码示例）

weixin_54707168的博客

01-30

2393

基本概念介绍首先介绍一下spark中常见的基本概念： RDD：弹性分布式数据集的简称，是一个分布式对象集合，「本质上是一个只读的分区记录集合。不能直接修改，只能通过一定的转换操作(map, reduce, join, group by)来创建新的RDD。」 DAG：有向无环图，反应了RDD之间的依赖关系。 Executor：一个进程，负责运行任务。 Application：用户编写的spark应用程序。 Task：运行在Excutor上的工作单元。 ..

2 条评论您还未登录，请先登录后发表或查看评论

pyspark小白：尝试性能优化一点心得

weixin_41814051的博客

07-20

1138

前言：本人之前情况是有python编程基础，但对大数据分布式的掌握限于皮毛的理论知识。借着任务驱动，历时两周空闲时间，先后学习了1.spark（pyhon版）之RDD编程，SparkSql，SparkMl；2.了解spark运行的基本底层原理，在写代码时对spark性能优化的一些手段。其实很浅，把自己一些tips整理出来，希望能帮助到同样开始入门的小白白。业务场景：业务上希望能找到文不对题的CP（昵称简介与本人生产视频不符，会给消费者先入为主带来一些主观上的意外感的CP）。一个指标是计算视频TA

学习笔记--【Spark学习：PySpark代码】

supremacy_IQ的博客

12-27

1749

学习笔记！！

pyspark的讲解与差异性

最新发布

2403_88719012的博客

11-11

941

PySpark是Spark的Python类库，内置了完全的Spark API。PySpark基于Python语言开发，但仅支持在单机环境下供Python用户开发调试使用，需要将程序提交到Spark集群上才能使用Spark集群分布式的能力处理大规模的数据处理任务。总之，PySpark作为一款强大的大数据处理工具，以其高效性、易用性和丰富的功能，受到了越来越多开发者的青睐。通过掌握PySpark的核心概念和组件，结合实际应用场景，我们可以更好地应对大数据处理挑战，挖掘数据价值，为业务发展提供有力支持。

pyspark 代码练习1

Lestat.Z.的博客

09-07

595

记录下最近写过的pyspark代码，如下： edaStats = namedtuple('edaStats', 'is_numeric, n_unique, n_missing, _min, _25, _50, _75, _max, n_unique, n_freq, mean ') def eda_stats(dataframe, field_name, field_type): is_...

pyspark 相关代码记录(Transformation 算子)

qq_35482604的博客

01-23

765

在conda activate pyspark 的环境中运行更快 1. WordCount from pyspark import SparkConf,SparkContext if __name__ == '__main__': conf = SparkConf().setAppName("WorldCount").setMaster("local") sc = SparkContext(conf=conf) file_rdd = sc.textFile("hdfs://47.

浅谈前端性能优化（八）——cookie优化

筱葭的博客

05-07

2089

cookie存储在客户端，伴随着HTTP请求在浏览器和服务器之间传递。除了key-value外，cookie还有max-age，path，domain和httponly属性。 httponly属性标识一个客户端JavaScript能否操作该cookie； max-age属性表示缓存时间，单位为秒； domain设置可以访问该Cookie的域名； path设置该domain下可以访问该Coo

浅谈python性能与优化

玩点coding

02-23

3833

楔子程序猿李狗蛋利用python3.6花了5分钟写了个数据处理的脚本，心中甚是喜悦，果然高效啊，但随着时间一分一秒过去了，任务还在处理中，李狗蛋拍案而起，冲着python怒道：你咋运行的这么慢！python一脸无辜：容~容我解释一下！，李狗蛋：你解释个毛线！闻此言，python也怒了：爷就这样，不喜欢滚犊子！李狗蛋:….. 1. 为什么python运行慢 1.1 解释执行 python程...

前端框架：浅谈Vue性能优化的方法与技巧

AI课工场

03-31

4925

小编这一期跟大家讲一下关于优化Vue性能相关的知识，众所周知Vue是一个轻量级的框架，源码仅仅为72.9KB，但是它也有缺点，就是首屏加载会比较慢，因为和传统项目相比，Vue会在首屏加载时加载出所有的组件和插件，并且向服务器请求数据，有时导致首屏加载的时间就会到4，5秒。这样做很明显是在挑战用户的耐心，按照惯例，最好能把加载时间控制在1秒左右。那如何来实现呢，接下来小编讲一下Vue性能优化的两个方...

PySpark——性能调优

qq_52421831的博客

10-20

1740

PySpark——性能调优

pyspark

03-08

pyspark 该存储库专用于pyspark的代码段。该代码已针对为Hadoop 2.7.3构建的Spark 2.4.6进行了测试。注意：为了通过pyspark连接到Mongodb，您需要其他jar文件，具体取决于您使用的spark版本。有用链接：

遇到的实际问题pyspark代码

weixin_42911609的博客

03-12

232

consume_by = consume_list[len(consume_list) - 1][1] - consume_list[0][1] #末次打赏数减去首次打赏数 first_list = consume_list[0][3] #打赏值为列表的列表。取初次打赏值。一次开播的打赏为一个列表，所有列表为一个列表的列表 last_list = consume_list[len(consum...

pyspark 代码练习2

Lestat.Z.的博客

09-07

617

记录下最近写过的pyspark代码，如下： def sparkDFunion(df1, df2): cols1 = df1.columns cols2 = df2.columns total_cols = sorted( cols1 + list(set(cols2) - set(cols1))) def expr(mycols, allcols): ''' return th...

pyspark单机与集群模式性能测试

qq_34779869的博客

11-03

345

pyspark本地与yarn模式的选择

pyspark代码练习5 —— percentiles

Lestat.Z.的博客

09-08

524

import pandas as pd df_pd = pd.DataFrame( data = {'bools':[0,1,0], 'floats': [-1.0,0.5,2.7], 'doubles': [21.05, 458738453.34, 9089787.7] 'integers':[1,34,89]} ) df = spark.createDataFrame(df_pd...

PySpark 数据分析基础：PySpark 原理详解

java1527的博客

09-12

1188

总体而言，PySpark 是借助 Py4j 实现 Python 调用 Java，来驱动 Spark 应用程序，本质上主要还是 JVM runtime，Java 到 Python 的结果返回是通过本地 Socket 完成。

PySpark

rainyrainbow的博客

11-30

453

PySpark 是 Spark 为 Python 开发者提供的 API ，位于 $SPARK_HOME/bin 目录，其依赖于 Py4J。系统环境 Linux Ubuntu 14.04 jdk-7u75-linux-x64 hadoop-2.6.0-cdh5.4.5 scala-2.10.4 spark-1.6.0-bin-hadoop2.6 python3.4 PyCharm 1.在Pycha...