spark任务结束时timeout问题

最新推荐文章于 2022-12-07 16:19:43 发布
最新推荐文章于 2022-12-07 16:19:43 发布
阅读量1.7k 收藏
点赞数 1
分类专栏： Question Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39182815/article/details/108751590
版权

先上错误图
在这里插入图片描述
这个错误是由一个临时导出需求产生的，任务需要读取两个大表进行join操作，所以耗费的时间也比较多，在Spark任务结束时产生了上图的异常。

这个任务其实在底层已经成功运行并输出结果了，且任务结果文件已经成功写入到HDFS中，根据网上所说将spark的net timeout配置，任务等待时长配置修改均无效。

解决方法 1:
在应用程序结尾显示调用

sparkContext.stop()
团子Yui
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
spark任务执行深入浅出
12-30
spark刨析
Spark Structured Streaming: 自维护（任意）状态流的“超时”(Timeout)问题
Laurence的技术博客
06-28 3407
此“超时”非彼“超时” 在我们开始这篇文章之前，我们必须要先弄清除一下问题：为什么流的上的状态会有“超时”问题？超时机制是为什么样的业务场景而设计的？通常情形下，人们一种直白的想法是：某种状态在长时间没有得到来自新数据的更新时，我们可以认为这个状态是“超时”了，它应该不复存在了，应该永远的被移除掉。然而遗憾的时是，Spark对于“状态”以及“超时”是另外一种理解： Spark认为既然流是没有边...
关于pycharm连接spark出现time out的问题
vikings_lau的博客
06-19 295
采用的是基于metastore的thrift，一开始刚配置完昙花一现的测试成功了一次，然后就一直是failed。因为提前在pycharm上连接成功了MySQL，所以也没有头绪。最后给pycharm做了虚拟机node1的映射，然后连接时突发奇想采用ssh连接，结果就成功了。记录一下，以便下次遇到这个问题时有个思路 ...
hive on spark异常
热门推荐
hua_ed的专栏
03-16 1万+
一、INFO : set mapreduce.job.reduces=<number>ERROR : Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create spark client.)'org.apache.ha...
SPARK任务运行报错：Caused by: java.util.concurrent.TimeoutException: Timed out waiting for RPC
阿伟的博客
05-13 1727
问题原因 这是因为hive将spark任务往yarn上提交时超时了，因此hive直接判定该spark任务执行失败 解决方法 修改hive-site.xml文件，增大hive.spark.client.server.connect.timeout的值 <property> <name>hive.spark.client.server.connect.timeout</name> <value>50000...
Timed out waiting for Remote Spark Driver to connect to HiveServer2报错解决办法
tanhaidi的博客
11-26 3117
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
spark设置超时kill任务
LSB19930706的博客
10-12 3805
背景： spark本身没有设置timeout的配置，数据开发团队sql on hadoop基础薄弱，很容易写出数据倾斜倾斜等消耗资源巨大的sql，而后其它任务全部卡死，考虑写脚本kill超时的任务，考虑到了如下3个方案 1、spark-shell --kill，该方法只支持Spark standalone or Mesos with cluster deploy mode only，而大多数公司的场景是spark on yarn，该方法pass。 2、spark源码中有个canceljob的接口，同.
Spark task过多导致任务运行过慢甚至超时
monkeyboy_tech的博客
03-15 5650
背景以及现象 本文基于 spark 3.1.2 设置spark.driver.memory=2g 在调试spark sql任务的时候，发现有几个任务产生了40多万个Task，而且任务长期运行不出来。 分析 运行此sql，可以得到如下的dag（我们只截取产生Task多的Stage），由此可以看到是scan的文件太大了（scan了日志文件半年的数据）。 但是为什么这种情况下会导致任务运行很缓慢甚至会超时呢？ 找到driver端， 用jstat -gcutil查看一下对应的gc情况(对应的内存都是调优完后的镜像
spark.network.timeout参数入门
鸭梨的博客
02-24 7143
默认120s 所有网络交互的默认超时时间。 如果未配置，则将使用此配置代替spark.storage.blockManagerSlaveTimeoutMs，spark.shuffle.io.connectionTimeout，spark.rpc.askTimeout或spark.rpc.lookupTimeout。 用途 若如出现各种timeout，executor lost ,task lost spark.network.timeout 根据情况改成300(5min)或更高 参考 Configurati
Spark常见报错与解决方案【三】
是故事啊~关注我~
12-07 3904
原因：数据量太大，内存不够 解决方案：(1)增大spark.executor.memory的值，减小spark.executor.cores (2)减少输入数据量，将原来的数据量分几次任务完成，每次读取其中一部分原因：(1)节点上运行的container多，每个任务shuffle write到磁盘的量大，导致磁盘满，节点重启 (2)节点其他服务多，抢占内存资源，NodeManager处于假死状态 解决方案：(1)确保节点没有过多其他服务进程 (2)扩大磁盘容量 (3)降低内存可分配量，比如为总内存的90%，
spark任务task分析
最新发布
11-23
spark任务task分析
java提交spark任务到yarn平台的配置讲解共9页.pdf.zip
10-28
java提交spark任务到yarn平台的配置讲解共9页.pdf.zip
7.spark任务设计1
08-08
7.spark任务设计1
Apache Spark 2.0 在作业完成时却花费很长时间结束
01-10
现象 大家在使用 Apache Spark 2.x 的时候可能会遇到这种现象：虽然我们的 Spark Jobs 已经全部完成了，但是我们的程序却还在执行。...本文将给大家介绍一种方法来解决这个问题。 为什么会造成这个现象 Spark 2.x
Spark引用h2o框架,实施线上异常点检测——孤立森林模型(isolation forest)
蓬莱人形
06-04 1635
Spark异常点检测算法——孤立森林模型 异常检测的特性 在生产中通常要进行异常数据检测，异常检测又被称为“离群点检测” (outlier detection),一般具有两个特性 异常数据跟大部分样本数据不太一样 异常数据在整体数据中的占比比重较小 以用户行为的埋点为例，这类数据通常对于异常数据的界限没有一个明确的划分。因此SVM、逻辑回归等这类需要大量正向、负向样本的算法并不适用于上述情况。 对于这类没有确定结果的数据来说，我们期望拥有一个无监督模型，根据样本间的相似性对样本集进行分类，从而检测出对应
Spark读ClickHouse——dbtable sql
蓬莱人形
09-23 1448
spark读取clickhouse数据时存在着诸多限制 如: 不支持array数组类型的读取 clickhouse存在着需要用final修饰的表 clickhouse按照分区过滤 …… 在不造轮子的情况下，可以用spark jdbc的一些骚操作实现clickhouse sql 以下是sparksql jdbc获取数据结构的源码 /** * Get the SQL query that should be used to find if the given table exists. Diale
Spark网格搜索——训练验证集拆分
蓬莱人形
11-21 1310
Spark内的网格搜索主要有两种评估流程，分别是交叉验证和训练验证集拆分，这篇文章主要介绍训练验证集拆分的具体流程。
SparkSQL jdbc()写入流程分析
蓬莱人形
02-05 1185
SparkSQL jdbc()写入流程分析 导言 在使用SparkSQL自带的jdbc()方法测试ClickHouse的写入性能时，jdbc()写入无法支持Array类型的数据写入。 网上有人说不支持数组写入的原因是SparkSQL的jdbc()方法获取到的是statement连接，而不是preparedStatement连接，因此SparkSQL不支持Array类型的写入。 抛开这个结论的正确性不谈，要想知道jdbc()不支持数组的原因，只要深入Spark的源码，应该就能找到答案了。因此笔者准备用两篇文章
spark 时间超过 broadcast的timeout
05-26
如果 Spark 时间超过了 Broadcast 的 timeout，可能会出现 Broadcast Timeout Exception 错误。这通常是由于数据量太大，导致广播变量需要花费太长时间来分发给集群中的所有节点。 为了避免这种情况，可以尝试以下几种方法： 1. 增加 Broadcast Timeout 时间：可以通过设置 SparkConf 的 spark.broadcast.timeout 参数来增加 Broadcast Timeout 时间。 2. 减少数据量：可以尝试减少需要广播的数据量。可以通过过滤掉不必要的数据来减少数据量，或者将数据分割成多个小的广播变量。 3. 使用分布式缓存：可以将需要广播的数据存储在分布式缓存中，然后使用 SparkContext.addFile() 方法将其添加到 SparkContext 中。这样可以避免将数据复制到所有节点。 4. 使用 RDD：如果数据可以表示为 RDD，可以尝试使用 Spark 的 RDD API 来操作数据。RDD 可以自动分发到集群中的所有节点，避免了广播变量需要复制的数据量。 希望这些方法能帮助你解决问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值