TimeoutException: Futures timed out after [300 seconds]异常问题

caused by:
java.util.concurrent.TimeoutException: Futures timed out after [300 seconds]
scala.concurrent.impl.Promise$DefaultPromise.ready(Promise.scala:223)
scala.concurrent.impl.Promise$DefaultPromise.result(Promise.scala:227)
org.apache.spark.util.ThreadUtils$.awaitResult(ThreadUtils.scala:220)
org.apache.spark.sql.execution.exchange.BroadcastExchangeExec.doExecuteBroadcast(BroadcastExchangeExec.scala:146)
org.apache.spark.sql.execution.InputAdapter.doExecuteBroadcast(WholeStageCodegenExec.scala:387)
org.apache.spark.sql.execution.SparkPlan$$anonfun$executeBroadcast$1.apply(SparkPlan.scala:144)
org.apache.spark.sql.execution.SparkPlan$$anonfun$executeBroadcast$1.apply(SparkPlan.scala:140)
org.apache.spark.sql.execution.SparkPlan$$anonfun$executeQuery$1.apply(SparkPlan.scala:155)
org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:151)
org.apache.spark.sql.execution.SparkPlan.executeQuery(SparkPlan.scala:152)
org.apache.spark.sql.execution.SparkPlan.executeBroadcast(SparkPlan.scala:140)

TimeoutException: Futures timed out after [300 seconds]
scala.concurrent.impl.Promise$DefaultPromise.ready(Promise.scala:223)

这个错误的原因解释:

在spark 配置 spark.sql.autoBroadcastJoinThreshold=10485760000(1G) 使用broadcast join模式,会将小于spark.sql.autoBroadcastJoinThreshold值(默认为10M)的表广播到其他计算节点,不会走shuffle过程,会更加高效。但是如果数据过大可能导致广播超时,所以一方面不建议autoBroadcastJoinThreshold设置过大,一方面估算下数据量不大的话即使shuffle也费不了多少时间~autoBroadcastJoinThreshold超时时间当然也是可以设置的。

关于BroadcastJoin可以参考这个https://blog.csdn.net/dabokele/article/details/65963401

  • 2
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值