spark参数调优

于 2024-03-04 12:14:00 发布
阅读量411 收藏 7
点赞数 9
文章标签： spark 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xylf1988/article/details/136448658
版权

当Hive数据量很大，需要大量groupby时，资源会不够用。

单跑整体需要很长时间，所以把能拆开的分部分来跑。

起初直接insert分区表，当3部分一起跑，会报重命名失败错误。org.apache.hadoop.fs.FileAlreadyExistsException: Renaming 'oss:///_temporary/0/task_20240303122822_0005_m_000022/stast_yyyymm=202308/campaign_id=2/part-00022-51e0d4da-405d-4310-9dbf-d6f0f491c5f1.c000.snappy.parquet' to 'oss://stast_yyyymm=202308/campaign_id=2/part-00022-51e0d4da-405d-4310-9dbf-d6f0f491c5f1.c000.snappy.parquet' -
returning false as dst is an already existing file

改成insert结果集，又报 ERROR TransportResponseHandler: Still have 1 requests outstanding when connection from /10.26.126.187:48416 is closed 错误。

查资料发现是系统资源不够用。

GXYKJ
关注
  • 9
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Still have 1 requests outstanding when connection from slaveX/X.X.X.X:33202 is closed
萌兔兔MMQ！！
07-23 1534
看了一下同事的代码，里面有一个groupby的操作，而且指定了partitionnum是2000，executors是60。并发连接数超过了其承载量，服务器会将其中一些连接Down掉，这也就是说在运行spark程序时，过多的申请资源并发执行。并且需要将某些hive表读取到dirver节点上，用来获取每个executor上某些数据的映射值，运行时抛出的异常信息，从网上查了下原因大致是服务器的。运行的程序其实逻辑上比较简单，只是从hive表里读取的数据量很大，差不多60+G，...
集群未知网络问题
Scapel的博客
12-03 2656
提交了一个SparkStreaming程序，经常出现如下的错误： ERROR TransportResponseHandler: Still have 5 requests outstanding when connection from hadoop006/172.33.2.6:55862 is closed WARN YarnSchedulerBackend$YarnSchedulerE...
spark报错ERROR client.TransportResponseHandler: Still have 1 requests outstanding when connection from
mrye的博客
04-29 5717
spark任务报错（不过计算后的结果是对的）： 21/04/29 14:38:38 ERROR client.TransportResponseHandler: Still have 1 requests outstanding when connection from /172.16.4.156:37528 is closed 21/04/29 14:38:39 ERROR cluster.YarnScheduler: Lost executor 3 on cdh-slave1.test.com: C
记一次Spark两表join错误修复
wloverine的博客
08-22 3980
业务情景 两表根据一个key进行连接，一张表从hive中读取，数据量4千万，一张表从mongo中读取，数据量87万。起初，把小表直接进行广播变量，然后在大表的map算子里面根据key一条一条连接，这样速度很快。 后来小标数据源改变了，数据量上升到1千万，此时再用之前的方式去跑spark任务，效率低了很多。然后我把两个数据源的表都注册成临时表，写sparksql作连接，想看看这样和我之前的写法时间...
spark写ck报错：SparkContext has been shutdown
weixin_42489619的博客
01-05 2619
以前这个任务没有出过错，随着时间的增加，到12月份的时候，报了上面错误。因为是跑一年的数据，就是1月1号-12月x号，数据量随着时间是慢慢增大的。这个任务按着以前的调度重新启动几次，调度命令如下：/home/data/office/spark-2.1.3-bin-2.6.0-cdh5.14.0/bin/spark-submit --class com.ybs.online.HealthServiceCount --master spark://bd-node01:7077,bd-node02:7077 --
Spark - spark error Mark 待解决
tianyeshiye
03-20 691
spark运行时，在driver 处抛出异常，不知道什么原因 不能确定是不是网络问题 2019/03/19 18:04:54.114 INFO Driver commanded a shutdown 2019/03/19 18:04:54.126 ERROR Still have 1 requests outstanding when connection from r-hdsl01/1...
spark性能调优参数总结
08-15
详细讲解了创建spark应用的参数含义以及出现问题对应的调优策略
spark性能调优
09-30
Spark性能调优是大数据处理领域中的一个重要话题，它涉及到如何最大化地利用计算资源，提高数据处理的速度和效率。以下是对Spark性能调优的一些关键知识点的详细解析： 1. **资源调度与分配**：Spark默认使用的是...
Spark3.0 调优参数 思维导图
11-09
Spark3.0 调优参数 思维导图，包含Spark, Spark Sql, Hadoop等参数
Spark性能调优
02-26
摘要：通常我们对一个系统进行性能优化无怪乎两个步骤——性能监控和参数调整，本文主要分享的也是这两方面内容。通常我们对一个系统进行性能优化无怪乎两个步骤——性能监控和参数调整，本文主要分享的也是这两方面...
小白学习Spark系列六：Spark调参优化
weixin_30267697的博客
12-02 273
　　前几节介绍了下常用的函数和常踩的坑以及如何打包程序，现在来说下如何调参优化。当我们开发完一个项目，测试完成后，就要提交到服务器上运行，但运行不稳定，老是抛出如下异常，这就很纳闷了呀，明明测试上没问题，咋一到线上就出bug了呢！别急，我们来看下这bug到底怎么回事~ 一、错误分析 　　1、参数设置及异常信息 18/10/08 16:23:51 WARN Transport...
RejectedExecutionException
1006346386@qq.com
06-02 4222
遗留问题：在SecureCRT中跑spark项目有时会出现异常：RejectedExecutionException，但是此昂木还是跑成功了，不知道是为什么？ 异常信息：17/05/27 10:09:04 INFO YarnClientSchedulerBackend: Stopped 17/05/27 10:09:04 INFO MapOutputTrackerMasterEndpoint: M
spark2.0 MessageHandler和 TransportResponseHandler
houzhizhen的专栏
11-15 3334
MessageHandler处理Netty发送或者接收的消息。一个MessageHandler和一个 Netty通道关联在一起，尽管一个 Netty通道可以为多个client对象服务。 TransportResponseHandler扩展自MessageHandler，它处理服务器端响应，响应是TransportClient的请求。它跟踪请求的列表和它们的回调函数。它是线程安全的。 /**
CDH-pyspark应用场景警告和错误
weixin_34391854的博客
11-16 233
为什么80%的码农都做不了架构师？>>> ...
2021-09-29
wy121125的博客
09-29 656
记一次pyspark运行错误，报YarnClientSchedulerBackend失败 他这个错误主要是RPC消息lost，然后executor lost。 我打开yarn管理界面8088，看到主节点是不健康的节点，看他为什么不健康，进入到webui告诉我的log里面，看到可能是因为磁盘太小。 然后我清空了yum缓存，删除了mysql，扩张到了5G的大小。 然后就一切顺利了。 Python 3.6.5 |Anaconda, Inc.| (default, Apr 29 2018, 16:14:56) [G
Spark SQL
grace♥的博客
11-20 370
创建DataFrames 一、spark-shell版本 1）spark-shell版本 spark中已经创建好了SparkContext和SQLContext对象 2）代码： spark-shell命令 ./spark-shell --master spark://hdp-1:7077 --executor-memory 500m --total-executor-cores 1 ...
spark远程调试异常解决
zhanghuang的博客
04-01 2395
问题： java.lang.IllegalArgumentException: System memory 259522560 must be at least 471859200. Please increase heap size using the --driver-memory option or spark.driver.memory in Spark configuration.解决：...
spark 参数调优
最新发布
07-28
在进行Spark参数调优时，我们可以考虑以下几个主要参数： 1. num-executors：该参数用于设置Executor的数量。在Spark 1.6之前，它还用于设置RDD持久化数据在Executor内存中所占的比例，默认为0.6。可以根据作业中需要持久化的RDD数量来调整该参数值。如果作业中有较多的RDD需要进行持久化操作，可以将该参数值调高；如果作业中只有少量的RDD需要进行持久化操作，可以将该参数值调低。\[2\] 2. Spark.Shuffle.memoryFraction：该参数用于设置Driver进程的内存。通常情况下，我们不需要显式地设置该参数，因为Driver运行内存的默认值为512MB。但是，当使用collect算子时，需要确保Driver内存足够大，以避免出现内存溢出的错误。一般建议将Driver内存设置为1G~4G。\[3\] 3. Spark.default.parallelism：该参数用于设置默认的并行度。并行度决定了作业中任务的并发执行程度。默认情况下，Spark会根据集群的总核数来自动设置并行度。但是，如果需要手动设置并行度，可以调整该参数的值。一般建议将并行度设置为集群的总核数的2~3倍。\[1\] 通过调整这些参数，我们可以优化资源使用率，提升Spark作业的执行性能。请根据实际情况和需求进行参数调优。 #### 引用[.reference_title] - *1* *2* *3* [Spark性能调优](https://blog.csdn.net/aikeaidecxy/article/details/126491521)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值