SchedulerBackend is ready for scheduling beginning after waiting maxRegisteredResourcesWaitingTime

最新推荐文章于 2023-02-22 15:32:52 发布

mtj66

最新推荐文章于 2023-02-22 15:32:52 发布

阅读量2.5k

点赞数

分类专栏： spark 文章标签： spark

spark 专栏收录该内容

40 篇文章 24 订阅 ¥19.90 ¥99.00

订阅专栏

博客内容概述：在运行Spark程序时遇到SchedulerBackend等待资源超时的问题，但其他Spark任务可以正常运行，排除了Spark兼容性问题。通过检查Yarn日志发现，问题源于请求的虚拟核心数量超过了YARN集群的最大配置，导致InvalidResourceRequestException。这表明在配置Spark执行器时需确保不超过YARN的最大虚拟核心限制，以避免此类异常。解决问题的关键在于深入分析错误日志，找出问题根源。

摘要由CSDN通过智能技术生成

INFO YarnClientSchedulerBackend: SchedulerBackend is ready for scheduling beginning after waiting maxRegisteredResourcesWaitingTime: 30000(ms)
Exception in thread “main” java.lang.IllegalStateException: Cannot call methods on a stopped SparkContext
at org.apache.spark.SparkContext.org $apache$ spark $SparkContext$ $assertNotStopped(SparkContext.scala:104) at org.apache.spark.SparkContext$ $anonfun$ newAPIHadoopRDD $1.apply(SparkContext.scala:1131) at org.apache.spark.SparkContext$ $anonfun$ newAPIHadoopRDD $1.apply(SparkContext.scala:1130) at org.apache.spark.rdd.RDDOperationScope$ .withScope(RDDOperationScope.scala:147)
at org.apache.spark.rdd.RDDOperationScope $.withScope(RDDOperationScope.scala:108) at org.apache.spark.SparkContext.withScope(SparkContext.scala:709) at org.apache.spark.SparkContext.newAPIHadoopRDD(SparkContext.scala:1130) at com.xxx.spark.etl$ .parquetRun(AdEtl.scala:76)
at com.xxx.spark.etl $.main(AdEtl.scala:32) at com.xxx.spark.etl.main(AdEtl.scala) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:606) at org.apache.spark.deploy.SparkSubmit$ .org $apache$ spark $deploy$ SparkSubmit$$runMain(SparkSubmit.scala:672)
at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:180)
at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:205)
at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:120)
at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

出现这个问题时，尝试运行其他spark程序，能够正常运行，说明并不是spark不兼容问题导致的。那么什么原因导致的这个问题发生呢。继续查看yarn的日志，http://cloudera_master:8088查看所有yarn控制的程序，找到该异常的程序，查看运行日志：
16/05/23 15:48:53 ERROR ApplicationMaster: Uncaught exception:
org.apache.hadoop.yarn.exceptions.InvalidResourceRequestException: Invalid resource request, requested virtual cores < 0, or requested virtual cores > max configured, requestedVirtualCores=6, maxVirtualCores=4
at org.apache.hadoop.yarn.server.resourcemanager.scheduler.SchedulerUtils.validateResourceRequest(SchedulerUtils.java:212)
at org.apache.hadoop.yarn.server.resourcemanager.RMServerUtils.validateResourceRequests(RMServerUtils.java:96)
收到如上的日志，通过这个日志可以很清楚的看到配置的执行器超出了最大执行数。所以异常了。

spark报出的异常并不是问题的真正异常，也就是出现问题的时候不要着急，一个地方发现不了问题，那么就多找几个地方，总会有发现问题的地方。