spark 集群异常

最新推荐文章于 2024-03-05 14:51:01 发布
最新推荐文章于 2024-03-05 14:51:01 发布
阅读量2.2k 收藏
点赞数
分类专栏： spark 项目实战笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011500419/article/details/116596106
版权 
21/05/10 14:29:06 INFO yarn.Client: Application report for application_1615370372492_2910 (state: FINISHED)
21/05/10 14:29:06 INFO yarn.Client: 
         client token: N/A
         diagnostics: User class threw exception: java.lang.IllegalStateException: No current assignment for partition logdata-10
        at org.apache.kafka.clients.consumer.internals.SubscriptionState.assignedState(SubscriptionState.java:259)
        at org.apache.kafka.clients.consumer.internals.SubscriptionState.seek(SubscriptionState.java:264)
        at org.apache.kafka.clients.consumer.KafkaConsumer.seek(KafkaConsumer.java:1510)
        at org.apache.spark.streaming.kafka010.Subscribe$$anonfun$onStart$2.apply(ConsumerStrategy.scala:107)
        at org.apache.spark.streaming.kafka010.Subscribe$$anonfun$onStart$2.apply(ConsumerStrategy.scala:106)
        at scala.collection.Iterator$class.foreach(Iterator.scala:891)
        at scala.collection.AbstractIterator.foreach(Iterator.scala:1334)
        at scala.collection.IterableLike$class.foreach(IterableLike.scala:72)
        at scala.collection.AbstractIterable.foreach(Iterable.scala:54)
        at org.apache.spark.streaming.kafka010.Subscribe.onStart(ConsumerStrategy.scala:106)
        at org.apache.spark.streaming.kafka010.DirectKafkaInputDStream.consumer(DirectKafkaInputDStream.scala:73)
        at org.apache.spark.streaming.kafka010.DirectKafkaInputDStream.start(DirectKafkaInputDStream.scala:259)
        at org.apache.spark.streaming.DStreamGraph$$anonfun$start$7.apply(DStreamGraph.scala:54)
        at org.apache.spark.streaming.DStreamGraph$$anonfun$start$7.apply(DStreamGraph.scala:54)
        at scala.collection.parallel.mutable.ParArray$ParArrayIterator.foreach_quick(ParArray.scala:143)
        at scala.collection.parallel.mutable.ParArray$ParArrayIterator.foreach(ParArray.scala:136)
        at scala.collection.parallel.ParIterableLike$Foreach.leaf(ParIterableLike.scala:972)
        at scala.collection.parallel.Task$$anonfun$tryLeaf$1.apply$mcV$sp(Tasks.scala:49)
        at scala.collection.parallel.Task$$anonfun$tryLeaf$1.apply(Tasks.scala:48)
        at scala.collection.parallel.Task$$anonfun$tryLeaf$1.apply(Tasks.scala:48)
        at scala.collection.parallel.Task$class.tryLeaf(Tasks.scala:51)
        at scala.collection.parallel.ParIterableLike$Foreach.tryLeaf(ParIterableLike.scala:969)
        at scala.collection.parallel.AdaptiveWorkStealingTasks$WrappedTask$class.compute(Tasks.scala:152)
        at scala.collection.parallel.AdaptiveWorkStealingForkJoinTasks$WrappedTask.compute(Tasks.scala:443)
        at scala.concurrent.forkjoin.RecursiveAction.exec(RecursiveAction.java:160)
        at scala.concurrent.forkjoin.ForkJoinTask.doExec(ForkJoinTask.java:260)
        at scala.concurrent.forkjoin.ForkJoinPool$WorkQueue.runTask(ForkJoinPool.java:1339)
        at scala.concurrent.forkjoin.ForkJoinPool.runWorker(ForkJoinPool.java:1979)
        at scala.concurrent.forkjoin.ForkJoinWorkerThread.run(ForkJoinWorkerThread.java:107)
        at ... run in separate thread using org.apache.spark.util.ThreadUtils ... ()
        at org.apache.spark.streaming.StreamingContext.liftedTree1$1(StreamingContext.scala:578)
        at org.apache.spark.streaming.StreamingContext.start(StreamingContext.scala:572)
        at com.bicai.bigdataai.logcollection.LogCollection$.main(LogCollection.scala:213)
        at com.bicai.bigdataai.logcollection.LogCollection.main(LogCollection.scala)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:498)
        at org.apache.spark.deploy.yarn.ApplicationMaster$$anon$2.run(ApplicationMaster.scala:688)

         ApplicationMaster host: testserver3
         ApplicationMaster RPC port: 40462
         queue: root.default
         start time: 1620628112845
         final status: FAILED
         tracking URL: http://testserver2:8088/proxy/application_1615370372492_2910/
         user: bigdata
21/05/10 14:29:06 ERROR yarn.Client: Application diagnostics message: User class threw exception: java.lang.IllegalStateException: No current assignment for partition logdata-10
        at org.apache.kafka.clients.consumer.internals.SubscriptionState.assignedState(SubscriptionState.java:259)
        at org.apache.kafka.clients.consumer.internals.SubscriptionState.seek(SubscriptionState.java:264)
        at org.apache.kafka.clients.consumer.KafkaConsumer.seek(KafkaConsumer.java:1510)
        at org.apache.spark.streaming.kafka010.Subscribe$$anonfun$onStart$2.apply(ConsumerStrategy.scala:107)
        at org.apache.spark.streaming.kafka010.Subscribe$$anonfun$onStart$2.apply(ConsumerStrategy.scala:106)
        at scala.collection.Iterator$class.foreach(Iterator.scala:891)
        at scala.collection.AbstractIterator.foreach(Iterator.scala:1334)
        at scala.collection.IterableLike$class.foreach(IterableLike.scala:72)
        at scala.collection.AbstractIterable.foreach(Iterable.scala:54)
        at org.apache.spark.streaming.kafka010.Subscribe.onStart(ConsumerStrategy.scala:106)
        at org.apache.spark.streaming.kafka010.DirectKafkaInputDStream.consumer(DirectKafkaInputDStream.scala:73)
        at org.apache.spark.streaming.kafka010.DirectKafkaInputDStream.start(DirectKafkaInputDStream.scala:259)
        at org.apache.spark.streaming.DStreamGraph$$anonfun$start$7.apply(DStreamGraph.scala:54)
        at org.apache.spark.streaming.DStreamGraph$$anonfun$start$7.apply(DStreamGraph.scala:54)
        at scala.collection.parallel.mutable.ParArray$ParArrayIterator.foreach_quick(ParArray.scala:143)
        at scala.collection.parallel.mutable.ParArray$ParArrayIterator.foreach(ParArray.scala:136)
        at scala.collection.parallel.ParIterableLike$Foreach.leaf(ParIterableLike.scala:972)
        at scala.collection.parallel.Task$$anonfun$tryLeaf$1.apply$mcV$sp(Tasks.scala:49)
        at scala.collection.parallel.Task$$anonfun$tryLeaf$1.apply(Tasks.scala:48)
        at scala.collection.parallel.Task$$anonfun$tryLeaf$1.apply(Tasks.scala:48)
        at scala.collection.parallel.Task$class.tryLeaf(Tasks.scala:51)
        at scala.collection.parallel.ParIterableLike$Foreach.tryLeaf(ParIterableLike.scala:969)
        at scala.collection.parallel.AdaptiveWorkStealingTasks$WrappedTask$class.compute(Tasks.scala:152)
        at scala.collection.parallel.AdaptiveWorkStealingForkJoinTasks$WrappedTask.compute(Tasks.scala:443)
        at scala.concurrent.forkjoin.RecursiveAction.exec(RecursiveAction.java:160)
        at scala.concurrent.forkjoin.ForkJoinTask.doExec(ForkJoinTask.java:260)
        at scala.concurrent.forkjoin.ForkJoinPool$WorkQueue.runTask(ForkJoinPool.java:1339)
        at scala.concurrent.forkjoin.ForkJoinPool.runWorker(ForkJoinPool.java:1979)
        at scala.concurrent.forkjoin.ForkJoinWorkerThread.run(ForkJoinWorkerThread.java:107)
        at ... run in separate thread using org.apache.spark.util.ThreadUtils ... ()
        at org.apache.spark.streaming.StreamingContext.liftedTree1$1(StreamingContext.scala:578)
        at org.apache.spark.streaming.StreamingContext.start(StreamingContext.scala:572)
        at com.bicai.bigdataai.logcollection.LogCollection$.main(LogCollection.scala:213)
        at com.bicai.bigdataai.logcollection.LogCollection.main(LogCollection.scala)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:498)
        at org.apache.spark.deploy.yarn.ApplicationMaster$$anon$2.run(ApplicationMaster.scala:688)

Exception in thread "main" org.apache.spark.SparkException: Application application_1615370372492_2910 finished with failed status
        at org.apache.spark.deploy.yarn.Client.run(Client.scala:1164)
        at org.apache.spark.deploy.yarn.YarnClusterApplication.start(Client.scala:1541)
        at org.apache.spark.deploy.SparkSubmit.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:849)
        at org.apache.spark.deploy.SparkSubmit.doRunMain$1(SparkSubmit.scala:167)
        at org.apache.spark.deploy.SparkSubmit.submit(SparkSubmit.scala:195)
        at org.apache.spark.deploy.SparkSubmit.doSubmit(SparkSubmit.scala:86)
        at org.apache.spark.deploy.SparkSubmit$$anon$2.doSubmit(SparkSubmit.scala:924)
        at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:933)
        at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
21/05/10 14:29:06 INFO util.ShutdownHookManager: Shutdown hook called
21/05/10 14:29:06 INFO util.ShutdownHookManager: Deleting directory /tmp/spark-626368ba-f387-4593-93fb-eb8d543a8e82
21/05/10 14:29:06 INFO util.ShutdownHookManager: Deleting directory /tmp/spark-d8043564-a4d4-4915-8aaa-d3d3f0ffd603

 

圣☞摧枯拉朽
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Spark 3.0.0集群启动原理和源码详解
06-30
 本课程讲解Spark 3.0.0 集群启动原理和源码详解的内容，包括：Master 启动原理和源码详解: Master 启动的原理详解、 Master 启动的源码详解、 Master HA 双机切换、 Master 的注册机制和状态管理解密； Worker 启动原理和源码详解: Worker 启动的原理流程、 Worker 启动的源码详解； ExecutorBackend 启动原理和源码详解: ExecutorBackend 接口与Executor 的关系、 ExecutorBackend 的不同实现、ExecutorBackend 中的通信、 ExecutorBackend 的异常处理； Executor 中任务的执行: Executor 中任务的加载、Executor 中的任务线程池、 任务执行失败处理、 揭秘TaskRunner； Executor 执行结果的处理方式。           
Spark Yarn Cluster 模式启动流程源码分析
RJ_Dream的博客
03-18 520
spark-submit.s 首先由spark-submit.sh脚本提交任务： if [ -z "${SPARK_HOME}" ]; then source "$(dirname "$0")"/find-spark-home fi # disable randomized hash for string in Python 3.3+ export PYTHONHASHSEED=0 exec "${SPARK_HOME}"/bin/spark-class org.apache.spark.de
【Spark】错误
wq6qeg88的博客
02-02 152
【代码】【Spark】错误。
java.lang.StringIndexOutOfBoundsException: String index out of range: -2147483648 成功解决
笑看风云路的博客
05-10 1192
最近一个小伙伴出现一个从未见过的一个异常，不知道如何解决，于是找我帮忙，看到问题我也是有点懵，怎么会出现这个问题呢，于是找他要了sql脚本，开始找问题的原因。。。
scala升级问题
anddyhua's Cookbook
07-21 1319
SPARK3 2.11 不再支持 scala从2.11升级到2.12，替换掉2.11包和scala 以及json等包 19/07/21 18:33:33 INFO yarn.Client: Deleted staging directory hdfs://172.16.119.188:9000/user/spark/.sparkStaging/application_1563641923608_0...
Spark源码(启动ApplicationMaster和Driver线程)-第二期
Airy的博客
08-23 1234
上一期指路 上一期我们分析到了YarnClusterApplication的start，我们继续从这里分析。 override def start(args: Array[String], conf: SparkConf): Unit = { // SparkSubmit would use yarn cache to distribute files & jars in yarn mode, // so remove them from sparkConf here
java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration
枪枪枪的博客
08-20 2721
错误： ERROR yarn.Client: Application diagnostics message: User class threw exception: java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration 原因分析： 运行环境中缺少hbase.*.jar相关依赖包时会导致该问题 解决方法： 将用到的相关包copy到$HADOOP_HOME/lib路径下即可解决问题，这里我是将整个项目用到的相关依
2021-09-30 CDH spark submit job：To solve this try to set hive.exec.max.dynamic.partitions
枪枪枪的博客
09-30 1820
[2021-09-30 08:22:01,451] {ssh.py:141} INFO - 21/09/30 16:22:01 ERROR yarn.Client: Application diagnostics message: User class threw exception: org.apache.spark.sql.AnalysisException: org.apache.hadoop.hive.ql.metadata.HiveException: Number of dynamic part
Spark代码提交到Yarn报错：java.lang.BootstrapMethodError: java.lang.NoClassDefFoundError: scala/runtime/java8
大数据跟我学i
03-19 1339
保存信息： ERROR Client: Application diagnostics message: User class threw exception: java.lang.BootstrapMethodError: java.lang.NoClassDefFoundError: scala/runtime/java8/JFunction2$mcIII$sp at com.czxy.WordCount_Spark$.main(WordCount_Spark.scala:29)
User class threw exception: org.apache.spark.SparkException: Task not serializable问题解决
LZX的博客
02-22 2927
问题描述： 计划将sparksql查询结果数据通过alibaba.druid.pool.存入mysql，结果报错序列化问题 User class threw exception: org.apache.spark.SparkException: Task not serializable at org.apache.spark.util.ClosureCleaner$.ensureSerializable(ClosureCleaner.scala:345) at org.apache.spark.util
spark报错整理
Jacqueline_JIANG的博客
07-28 2240
1. 报错：Diagnostic messages truncated. 一个spark2的已知bug，当一个表被多次复用，形成菱形逻辑（比如select ... as a; select ... from a as t1; select ... from a as t2; select t1 join t2）就有一定概率会出现这个attribute missing的报错。 1. spark3修复了该问题。 2. 如果目前要在spark2任务中绕过该问题，可以尝试找出那些任务中被多次复用的临时..
Spark性能优化：资源调优篇
02-26
资源参数设置的不合理，可能会导致没有充分利用集群资源，作业运行会极其缓慢；或者设置的资源过大，队列没有足够的资源来提供，进而导致各种异常。总之，无论是哪种情况，都会导致Spark作业的运行效率低下，甚至...
java8看不到源码-telco-anomaly-detection-spark:电信公司使用Spark进行异常检测
06-04
看不到源码电信异常检测火花 电信公司使用 Spark 进行异常检测 在集群上运行 ssh 到集群机器。 如果集群上安装了java7或更低版​​本，请安装java8。 教程（使用 sudo 命令）=> 。 如果您没有安装maven，请安装它。 ...
在yarn集群上运行使用GraphFrame框架的spark代码遇到报错及解决
最新发布
qq_53336526的博客
03-05 286
发现问题是，SparkSubmit在加载类的时候无法找到graphframes的jar文件，所以可以手动下载对应版本的graphframes的jar文件，并在submit的时候引入。通过上述步骤，你应该能够将 graphframes 的 jar 文件作为依赖项上传到你的 Spark 集群，并解决 NoClassDefFoundError 的问题。在sbt中引入了graphframe使spark应用程序可以在本地运行。
windows写spark代码并打包交到集群运行
weixin_41684423的博客
04-13 588
一.下载spark,hadoop,java,scala,idea 1.spark,本地调试代码需要运行你写的scala，其中引用的所有spark库都需要spark的jar包，使用集群机器上的spark文件夹里面的jars即可，将集群上的spark拷贝下来。 2.hadoop，同spark，但是需要下载winutils.exe在hadoop的bin目录下，否则会报Could not locate executable null\bin\winutils.exe in the Hadoop binaries
2021-09-18 Stage/Job cancelled because SparkContext was shut down
枪枪枪的博客
09-22 8242
查看输出日志 [2021-09-17 21:10:49,078] {ssh.py:141} INFO - 21/09/18 05:10:49 INFO yarn.Client: Application report for application_1630745810692_0149 (state: RUNNING) [2021-09-17 21:10:50,084] {ssh.py:141} INFO - 21/09/18 05:10:50 INFO yarn.Client: Application r.
大数据常见错误解决方案（转载）
defang0693的博客
02-24 3000
1、用./bin/spark-shell启动spark时遇到异常：java.net.BindException: Can't assign requested address: Service 'sparkDriver' failed after 16 retries! 解决方法：add export SPARK_LOCAL_IP="127.0.0.1" to spark-env....
dolphinscheduler报错Caused by: java.lang.NoSuchMethodError: javax.ws.rs.core.NewCookie
qq_43688472的博客
08-17 228
报错Caused by: java.lang.NoSuchMethodError: javax.ws.rs.core.NewCookie.(Ljava/lang/String;报错：ERROR org.apache.spark.deploy.yarn.Client: Application diagnostics message: User class threw exception: java.lang.reflect.InvocationTargetException。
2021-09-29
wy121125的博客
09-29 611
记一次pyspark运行错误，报YarnClientSchedulerBackend失败 他这个错误主要是RPC消息lost，然后executor lost。 我打开yarn管理界面8088，看到主节点是不健康的节点，看他为什么不健康，进入到webui告诉我的log里面，看到可能是因为磁盘太小。 然后我清空了yum缓存，删除了mysql，扩张到了5G的大小。 然后就一切顺利了。 Python 3.6.5 |Anaconda, Inc.| (default, Apr 29 2018, 16:14:56) [G
spark 中 jvm 内存使用及配置详情、spark报错与调优、spark内存溢出oom异常
09-03
### 回答1： 1. Spark中JVM内存使用及配置详情： Spark中的JVM内存使用主要包括堆内存和非堆内存。堆内存用于存储对象实例，而非堆内存用于存储类信息、方法信息等。在Spark中，可以通过以下参数来配置JVM内存使用： - spark.driver.memory：用于配置Driver进程的堆内存大小，默认为1g。 - spark.executor.memory：用于配置Executor进程的堆内存大小，默认为1g。 - spark.driver.extraJavaOptions：用于配置Driver进程的非堆内存大小和其他JVM参数。 - spark.executor.extraJavaOptions：用于配置Executor进程的非堆内存大小和其他JVM参数。 2. Spark报错与调优： 在Spark运行过程中，可能会出现各种报错，如内存溢出、任务失败等。针对这些报错，可以采取以下调优措施： - 内存溢出：增加Executor进程的堆内存大小、减少每个任务的数据量、使用缓存等方式来减少内存使用。 - 任务失败：增加Executor进程的数量、减少每个任务的数据量、调整任务的并行度等方式来提高任务的执行效率。 3. Spark内存溢出OOM异常： Spark内存溢出OOM异常是指Executor进程的堆内存不足以存储当前任务所需的数据，导致任务执行失败。可以通过增加Executor进程的堆内存大小、减少每个任务的数据量、使用缓存等方式来减少内存使用，从而避免内存溢出异常的发生。 ### 回答2： Spark中JVM内存使用及配置详情： Spark使用JVM来执行任务，其中一个非常重要的参数是堆内存（Heap Memory）的大小。堆内存用于存储对象实例和方法调用的信息。在使用Spark时，可以通过spark.driver.memory和spark.executor.memory参数来配置JVM堆内存的大小，默认情况下，它们都是1g。需要根据具体的任务需求和集群资源情况来进行调整。如果遇到内存不足的情况，可以增加堆内存的大小，但是需要保证集群资源充足。 Spark报错与调优： 在使用Spark过程中，常见的报错有内存溢出、数据倾斜、任务运行时间过长等问题。对于这些问题，可以采取一些调优策略进行处理。例如，在遇到内存溢出（Out of Memory）异常时，可以通过增加堆内存大小或者减少数据量来解决；对于数据倾斜的情况，可以考虑数据重分区或者使用一些聚合策略来优化；对于任务运行时间过长的情况，可以考虑增加Spark任务的并行度或者使用缓存机制来加速计算等。 Spark内存溢出（OOM）异常： Spark中的内存溢出异常通常是由于使用的内存超过了配置的阈值引起的。在配置Spark应用程序时，可以设置spark.driver.memory和spark.executor.memory参数来调整JVM堆内存的大小。如果内存不足，则需要增加内存配置或者优化代码逻辑。另外，可以通过设置spark.memory.offHeap.enabled参数来开启堆外内存，将一部分内存放到堆外，从而减少对JVM堆内存的占用。此外，还可以通过设置spark.memory.fraction参数来调整JVM堆内存的分配比例，更好地利用内存资源。如果调整参数后仍然出现内存溢出问题，还可以考虑调整Spark任务的并行度或者增加集群资源。 ### 回答3： Spark是一个基于内存的数据处理框架，能够高效地处理大规模数据集。在Spark中，JVM内存的使用及配置对于保证程序的稳定和性能的提升非常重要。 首先，Spark的JVM内存分为堆内存和非堆内存两部分。堆内存是用来存储对象实例的，而非堆内存则用来存储JVM本身的运行时数据。为了合理配置JVM内存，可以通过配置spark.driver.memory和spark.executor.memory参数来设置堆内存的大小。根据集群的硬件配置和任务的需求情况，可以根据具体情况来调整这两个参数的数值。 其次，在Spark运行过程中，经常会遇到各种报错。常见的报错有内存溢出（OutOfMemoryError）、任务失败（TaskFail）等。当遇到内存溢出错误时，可以尝试以下几种方法来调优： 1. 增加可用内存：可以通过增加executor内存或调整任务分区大小来扩大可用内存。 2. 减少数据规模：可以通过过滤数据、采样数据或者使用压缩算法来减少数据的大小。 3. 优化代码：可以优化代码逻辑和算法，减少内存使用。 4. 调整缓存策略：可以通过手动控制缓存的数据量，及时释放不再使用的缓存。 最后，Spark的内存溢出（OOM）异常通常是由于数据量过大，超出了可用内存的限制而导致的。当出现内存溢出异常时，可以参考上述的调优方法来解决问题。 总之，合理配置JVM内存、及时处理报错、避免内存溢出异常是保证Spark程序稳定与性能的关键。希望以上回答对您有所帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值