python 扩大spark.driver.maxResultSize参数

最新推荐文章于 2022-02-22 09:40:59 发布
最新推荐文章于 2022-02-22 09:40:59 发布
阅读量3.2k 收藏 2
点赞数 1
分类专栏： Python spark 文章标签： python spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wshzd/article/details/76247060
版权

spark默认的spark.driver.maxResultSize为1g，所以在运行spark程序的时候有时候会报错：

ERROR TaskSetManager: Total size of serialized results of 8113 tasks (1131.0 MB) is bigger than spark.driver.maxResultSize (1024.0 MB)

解决方案是：

from pyspark import SparkConf, SparkContext

SparkContext.setSystemProperty('spark.driver.maxResultSize', '10g')


wshzd
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
spark.driver.maxResultSize限制 Spark 驱动程序（driver）在向客户端返回结果时的最大大小
qq_43688472的博客
09-21 1993
每个Spark　action的所有分区的序列化结果的总大小限制（例如，collect行动算子）。应该至少为1M，或者为无限制。如果超过1g，job将被中止。如果driver.maxResultSize设置过大可能会超出内存（取决于spark.driver.memory和JVM中对象的内存开销）。设置适当的参数限制可以防止内存不足。设置为0则为无限制，但是有OOM的风险。这会将最大结果大小设置为 2GB。
Pyspark报错：Total size of serialized results is bigger than spark.driver.maxResultsSize
万方名的博客
06-18 1084
问题 如题 原因 spark.dirver.maxResultSize参数默认为1024兆，所以会有限制 解决方法 在python脚本最上面添加如下配置即可 from pyspark.sql import SparkSession spark = SparkSession \ .builder \ .appName("Python Spark SQL basic example") \ .config("spark.memory.fraction", 0.8) \ .con
spark.driver.maxResultSize参数详解
ChengYanan的博客
11-21 6397
参数含义及默认值： Limit of total size of serialized results of all partitions for each Spark action (e.g. collect). Should be at least 1M, or 0 for unlimited. Jobs will be aborted if the total size is above ...
spark对spark.driver.maxResultSize报错的解决方案
jane3von的专栏
12-07 5933
最近有个需求需要union 上千甚至更多的dataset数据，然后cache(),然后count(),在执行count(）这个action操作的时候，spark程序报错，如下： org.apache.spark.SparkException: Job aborted due to stage failure: Total size of serialized results of 16092 tasks (16.0 GB) is bigger than spark.driver.maxResultSize
SparkSql引起的一场灾难
SunnyRivers
10-28 550
发生灾难的原因 sql(sqlText = "select tel_number from TableA") .filter("tel_number not in (select serv_number from tableB)") .agg(count($"serv_number")) .show() 说明： select serv_number from...
藏经阁-Improving Python and Spark.pdf
最新发布
09-09
"藏经阁-Improving Python and Spark.pdf" 本文档主要讨论了 Python 和 Spark 的性能优化和互操作性。作者 Wes McKinney 是 Python pandas 项目的创建者，也是 Apache Arrow 和 Apache Parquet 的 PMC 成员。他在 ...
关于python中plt.hist参数的使用详解
09-18
今天小编就为大家分享一篇关于python中plt.hist参数的使用详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
python中sys.argv参数用法实例分析
09-22
主要介绍了python中sys.argv参数用法,实例分析了python中sys.argv参数的功能、定义及使用技巧,需要的朋友可以参考下
Spark.for.Python.Developers.1784399
01-15
Set up real-time streaming and batch data intensive infrastructure using Spark and Python Deliver insightful visualizations in a web app using Spark (PySpark) Inject live data using Spark Streaming ...
Python使用plt.boxplot() 参数绘制箱线图
12-17
Python 绘制箱线图主要用 matplotlib 库里 pyplot 模块里的 boxplot() 函数。 plt.boxplot() 参数详解 plt.pie(x, # 指定要绘制箱线图的数据； notch=None, # 是否是凹口的形式展现箱线图，默认非凹口； sym=None...
python 内存不足报错_Spark排错与优化
weixin_39589511的博客
12-22 1213
Master挂掉,standby重启也失效Master默认使用512M内存，当集群中运行的任务特别多时，就会挂掉，原因是master会读取每个task的event log日志去生成Spark ui，内存不足自然会OOM，可以在master的运行日志中看到，通过HA启动的master自然也会因为这个原因失败。解决增加Master的内存占用，在Master节点spark-env.sh中设置：expor...
Spark优化那些事(4)-关于spark.driver.maxResultSize的疑惑
fly_time2012的专栏
06-18 5357
今天遇到了spark.driver.maxResultSize的异常，通过增大该值解决了，但是其运行机制不是很明白，先记录在这里，希望后面有机会可以明白背后的机制。 该异常会报如下的异常信息: Job aborted due to stage failure: Total size of serialized results of 3979 tasks (1024.2 MB) is bigger than spark.driver.maxResultSize (1024.0 MB) 锁定了是sp...
Spark CTAS union all （union all的个数很多）导致超过spark.driver.maxResultSize配置（1G）
monkeyboy_tech的博客
12-18 2453
spark CTAS nuion all （union all的个数很多）导致超过spark.driver.maxResultSize配置（2G）
spark 或 hive报错：bigger than spark.driver.maxResultSize
hzp666的博客
02-22 1716
异常信息： Job aborted due to stage failure: Total size of serialized results of 17509 tasks (2.0 GiB) is bigger thanspark.driver.maxResultSize (2.0 GiB) 解决方案： spark.driver.maxResultSize默认大小为1G,指的是每个Spark action(如collect)所有分区的序列化结果的总大小限制，就是说，executor给driv.
Spark 异常总结及解决办法
欲望以提升热忱 毅力以磨平高山
12-18 6034
前言 总结Spark开发中遇到的异常及解决办法，之前也写过几篇，之所以不再一个异常写一篇博客，是因为现在Spark用的比较熟悉了一些，觉得没必要把异常信息写那么详细了，所以就把异常总结在一篇博客里了，这样既能备忘也方便查找。 1、之前的几篇 spark-submit报错:Exception in thread “main” java.sql.SQLException:No suitable...
Spark问题13之Total size of serialized results of 30 tasks (2.0 GB) is bigger than spark.driver.maxResul
Keep Learning
03-06 8265
更多代码请见：https://github.com/xubo245/SparkLearningSpark生态之Alluxio学习 版本：alluxio（tachyon） 0.7.1，spark-1.5.2,hadoop-2.6.01.问题描述当使用cs-bwamem输出文件到local的sam时，文件过大，出现问题。driver的默认maxResultSize不够，报错2.运行记录：hadoop@M
spark 参数调优3-Shuffle Behavior
Deegue
08-31 1万+
spark参数调优系列 目录地址： https://blog.csdn.net/zyzzxycj/article/details/81011540   ③ Shuffle Behavior  spark.reducer.maxSizeInFlight 默认48m。从每个reduce任务同时拉取的最大map数，每个reduce都会在完成任务后，需要一个堆外内存的缓冲区来存放结果，如果没有...
Spark记录（一）－－spark.driver.maxResultSize超出1024M
热门推荐
不负如来不负卿
06-05 2万+
本地local模式运行报spark.driver.maxResultSize超出1024M,接下来分解决方法、参数含义及默认值等维度说明。一、解决方法：增大spark.driver.maxResultSize，设置方式是sparkConf.set("spark.driver.maxResultSize", "4g")二、参数含义及默认值：Limit of total size of seriali...
python 中 spark.sql().collect()
06-09
在 Python 中使用 PySpark 的时候，我们可以使用 `spark.sql()` 方法来执行 SQL 查询。`spark.sql()` 方法返回一个 `DataFrame` 对象，该对象代表了查询的结果集。如果我们想将结果集以 Python 的数据结构的形式返回，可以使用 `collect()` 方法。`collect()` 方法将会把 `DataFrame` 中的所有数据都读取到 Python 中的一个列表中。这种方法适用于查询结果集较小的情况，因为将所有结果都读取到内存中可能会导致内存不足的问题。 以下是一个示例： ```python from pyspark.sql import SparkSession spark = SparkSession.builder.appName("example").getOrCreate() # 创建一个 DataFrame df = spark.read.format("csv").option("header", True).load("data.csv") # 执行 SQL 查询 result_df = spark.sql("SELECT * FROM table WHERE column = value") # 将结果集以 Python 的列表的形式返回 result_list = result_df.collect() ``` 在这个例子中，我们首先使用 `SparkSession` 对象创建了一个 Spark 应用程序。然后，我们使用 `spark.read()` 方法从 CSV 文件中读取数据，并创建了一个 `DataFrame` 对象。接下来，我们使用 `spark.sql()` 方法执行了一个 SQL 查询，并将结果保存到一个新的 `DataFrame` 对象中。最后，我们使用 `collect()` 方法将结果集以 Python 的列表的形式返回。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

wshzd

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值