解决Consider increasing spark.rpc.message.maxSize

最新推荐文章于 2021-10-26 14:24:23 发布
最新推荐文章于 2021-10-26 14:24:23 发布
阅读量6.1k 收藏 2
点赞数 1
分类专栏： Spark 文章标签： spark rpc
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/quitozang/article/details/78071632
版权

apache.spark.SparkException: Job aborted due to stage failure: Serialized task 32:5 was 204136673 bytes, which exceeds max allowed: spark.rpc.message.maxSize (134217728 bytes).Consider increasing spark.rpc.message.maxSize or using broadcast variables for large values.
用sc.parallelize(data,slices)时，如果data数据过大，易出现该问题
解决：增加spark.rpc.message.maxSize，该值默认大小128M
提交任务是加：–conf spark.rpc.message.maxSize=512

OddBillow
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark学习
qq_35753857的博客
12-20 366
1.spark功能接口——SparkContext SparkContext是spark功能的主要入口。其代表与spark集群的连接，能够用来在集群上创建RDD、累加器、广播变量。每个JVM里只能存在一个处于激活状态的SparkContext，在创建新的SparkContext之前必须调用stop()来关闭之前的SparkContext。 原文链接：https://blog.csdn.net/we...
Spark任务两个小问题笔记
三劫散仙
12-26 2954
今天在用spark处理数据的时候，遇到两个小问题，特此笔记一下。 两个问题都与网络交互有关，大致处理场景是，在driver端会提前获取组装一批数据，然后把这些数据发送executor端进行后续处理。 问题一：序列化异常 driver有一个case class类需要封装一些数据发送到executor上，原来都是scala的类，直接发送到executor上执行没问题，而且也没加序列化
Spark config配置项 一览
u010374412的博客
11-29 4749
Spark config配置项 一览env配置 env配置 SPARK_PRINT_LAUNCH_COMMAND -> true 表示在spark-submit 提交job的时候是否打印LaunchCommand
Spark在StandAlone模式下提交任务，spark.rpc.message.maxSize太小而出错
weixin_30828379的博客
09-23 1570
1.错误信息org.apache.spark.SparkException: Job aborted due to stage failure:Serialized task 32:5 was 1728746673 bytes, which exceeds max allowed: spark.rpc.message.maxSize (134217728 bytes). Consi...
sparksql读parquet表执行报错
lhxsir的博客
12-29 1067
集群内存：1024G（数据量：400G） (1)报错信息： Job aborted due to stage failure: Serialized task 2231:2304 was 637417604 bytes, which exceeds max allowed: spark.rpc.message.maxSize (134217728 bytes). Consider increas...
8. spark源码分析（基于yarn cluster模式）- Task执行，Map端写入实现，ShuffleMapTask,SortShuffleWriter,ResultStage,ResultT
LeoHan
10-26 696
通过上一节分析，我们知道，task提交之后通过launchTasks来具体执行任务，这一章节我们看下其具体实现. private def launchTasks(tasks: Seq[Seq[TaskDescription]]) { for (task <- tasks.flatten) { val serializedTask = TaskDescription.encode(task) if (serializedTask.limit() >= m
Spark.Cookbook.1783987065
08-20
By introducing in-memory persistent storage, Apache Spark eliminates the need to store intermediate data in filesystems, thereby increasing processing speed by up to 100 times. This book will focus ...
rtw_mlme.rar_Because...
09-19
Increase the scanning timeout because of increasing the SURVEY_TO value.
Apache Spark 2.x for Java Developers
08-16
Apache Spark is the buzzword in the big data industry right now, especially with the increasing need for real-time streaming and data processing. While Spark is built on Scala, the Spark Java API ...
MachineLearning_AProbabilist-KevinP.Murphy
02-27
With the ever increasing amounts of data in electronic form, the need for automated methods for data analysis continues to grow. The goal of machine learning is to develop methods that can ...
spark新能优化之shuffle新能调优
weixin_33834075的博客
07-13 282
shuffle调优参数 new SparkConf().set("spark.shuffle.consolidateFiles", "true") spark.shuffle.consolidateFiles：是否开启shuffle block file的合并，默认为false//设置从maPartitionRDD上面到到下个stage的resultTask时数据的传输快可以聚合（具体原理可以...
Spark 调优 — 资源调优&参数调优
daoxu_hjl的博客
08-25 1662
spark-submit 参数 具体如下： spark-submit \ --queue ${1} \ # 指定资源队列，否则默认default --master yarn --deploy-mode ${2} \ # client or cluster: 选择客户端模式或者集群模式提交：决定driver 是在本地还是集群内节点：cluster模式能够降低本地压力，发挥集群服务器优势 --num-executors ${3} \ # 启动的executor进程数量：50-100个比较合适，具体看可用资源.
Spark调优之 -- Spark资源调优
erainm
10-29 288
1. 调优概述 2. Spark作业基本运行原理 3. 资源参数调优 4. 资源参数参考示例
大数据：Spark Core（二）Driver上的Task的生成、分配、调度
沧海一粟
04-14 1万+
1. 什么是Task? 在前面的章节里描述过几个角色，Driver(Client),Master,Worker(Executor)，Driver会提交Application到Master进行Worker上的Executor上的调度，显然这些都不是Task. Spark上的几个关系可以这样理解： Application: Application是Driver在构建SparkContent的上下文的时候创建的，就像申报员，现在要构建一个能完成任务的集群，需要申报的是这次需要多少个Executor(可以简单理解
spark报错集合，python报错集合，tensorflow报错集合
wo的博客
09-19 1132
spark.sql.crossJoin.enabled for Spark 2.x 解决办法：在脚本里加入如下一行 spark.conf.set(“spark.sql.crossJoin.enabled”, True) 资料参考：资料参考
spark 参数调优8-Networking网络
热门推荐
Deegue
08-31 1万+
spark参数调优系列 目录地址： https://blog.csdn.net/zyzzxycj/article/details/81011540   ⑧ Networking spark.rpc.message.maxSize executors和driver间消息传输、map输出的大小，默认128M。map多可以考虑增加。 spark.driver.blockManager.po...
Spark 源码分析（九）: Task 启动
朱磊的博客
07-08 440
前面已经分析到了 DAGScheduler 对 stage 划分，并对 Task 的最佳位置进行计算之后，通过调用 taskScheduler 的 submitTasks 方法，将每个 stage 的 taskSet 进行提交。 在 taskScheduler 的 submitTasks 方法中会为每个 taskSet 创建一个 TaskSetManager，用于管理 taskSet。然后向调度池...
spark任务出现Lost executor报错的几点解决方案
weixin_34113237的博客
09-26 2197
2019独角兽企业重金招聘Python工程师标准>>> ...
consider increasing max.overlaps
最新发布
09-17
“consider increasing max.overlaps”是一个指示，意味着需要考虑增加“max.overlaps”的值。 在计算机编程领域，max.overlaps通常用于限制两个或多个对象之间允许的最大重叠数量。通过增加max.overlaps的值，可以放宽该限制，允许更多的重叠出现。 增加max.overlaps可能有以下几种优点： 1. 提高系统的灵活性和容错能力：通过增加max.overlaps，系统可以更容易地处理多个对象之间的重叠情况。这将使得系统更加灵活，并能够容忍更多的错误或异常情况。 2. 改善资源利用效率：在某些情况下，允许更多的重叠可能会提高资源的利用效率。例如，在任务调度或资源分配中，通过增加max.overlaps，可以更充分地利用可用资源，从而提高整体效率。 3. 提升性能和响应速度：通过增加max.overlaps，可以减少一些繁琐的重叠判断和处理过程。简化计算逻辑可以提高系统性能和响应速度。 然而，需要谨慎增加max.overlaps的值。过大的值可能导致系统负载过重，或者加剧资源竞争问题。因此，在决定是否增加max.overlaps之前，需要综合考虑系统的实际需求、可用资源和对性能的影响，并进行适当的评估和测试。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值