Spark：spark on yarn任务java.nio.channels.ClosedChannelException

已于 2022-06-14 09:38:56 修改
阅读量341 收藏
点赞数
分类专栏： Spark 文章标签： spark
于 2022-04-02 13:47:42 首次发布
原文链接：https://blog.csdn.net/u012957549/article/details/89361485
版权

原因：给节点分配的内存少，yarn kill了spark application

解决：配置yarn-site.xml
<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

Joseph25
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
java nio 捕获异常_java nio channel抛出ClosedByInterruptException的情况
weixin_30211217的博客
02-13 4901
java nio里的channel是实现自InterruptibleChannel接口的，这个接口的注释里有说明，当正在操作这个channel的线程被其他线程中断，则会close这个channel，当前(被中断的)线程抛出一个ClosedByInterruptException异常。我们今天在排查一个问题时，用户线程执行了下面的调用过程(从上往下)：org.apache.catalina.conn...
SPARK2_ON_YARN-2.4.0.cloudera2.jar
03-10
SPARK2_ON_YARN-2.4.0 jar包下载
spark提交任务java.nio.channels.ClosedChannelException
热门推荐
数据之路-忆梦前程
08-25 2万+
1.提交任务 ./spark-submit --master "yarn" --driver-memory 1g --executor-memory 1g --class KeyCount /root/IdeaProjects/SparkApp/out/artifacts/SparkApp_jar/SparkApp.jar 报错如下： 17/08/25 14:47:03 ERROR cl
spark on yarn提交任务时报ClosedChannelException解决方案
weixin_30553065的博客
01-31 478
spark2.1出来了，想玩玩就搭了个原生的apache集群，但在standalone模式下没有任何问题，基于apache hadoop 2.7.3使用spark on yarn一直报这个错。(Java 8) 报错日志如下： Warning: Master yarn-client is deprecated since 2.0. Please use master "yarn" with ...
java.nio.channels.ClosedChannelException错误的解决方案
最新发布
2301_79779756的博客
05-22 576
java.nio.channels.ClosedChannelException 是 Java NIO（非阻塞 I/O）中的一个异常，表示某个通道（如文件通道、套接字通道等）已经被关闭，但代码尝试在该通道上执行 I/O 操作。在 Java NIO 中，通道（Channel）是数据传输的主要通道，它提供了将数据从源传输到目标或从目标传输到源的能力。
关于hadoop的java.nio.channels.ClosedByInterruptException
分布式应用与服务器架构专栏
06-28 1万+
关于java.io.IOException: Call to master/10.200.187.77:8020 failed on local exception: java.nio.channels.ClosedByInterruptException异常问题， 最近将hadoop的日志改成DEBUG模式，进行仔细分析，以下日志报错信息截取部分： 注意红色字体部分：就是这个信息关闭了77:
【Hadoop】java.io.IOException: Failed on local exception: java.nio.channels.ClosedByInterruptException
wyz0516071128的博客
04-08 6142
查看日志中的报错信息如下： java.io.IOException: Failed on local exception: java.nio.channels.ClosedByInterruptException; Host Details : local host is: "1.datanode3/72.118.0.15"; destination host is: "1.server1":...
还不知道如何在java中终止一个线程?快来,一文给你揭秘
m0_73311735的博客
03-10 177
线程不能调用stop来终止主要是因为不会抛出异常，从而导致一些安全和数据不一致的问题。所以，最好的方式就是调用interrupt方法来处理。本文的例子。
spark history server内存不足服务自动挂掉
TURING.DT
05-13 6120
版本：Spark 1.5.2 built for Hadoop 2.4.0 今天spark的history server自己挂掉了，查看日志： 16/05/13 14:12:30 WARN DFSClient: Failed to connect to /192.168.2.77:50010 for block, add to deadNodes and continue. java.ni
Spark实验：On Yarn模式安装部署（带答案）1
08-03
3. **配置yarn-site.xml**：为了防止YARN因内存限制而终止Spark任务，我们需要在`yarn-site.xml`中取消内存检查。这可以通过设置两个属性`yarn.nodemanager.pmem-check-enabled`和`yarn.nodemanager.vmem-check-...
Spark on Yarn模式部署.docx
10-03
Spark on Yarn 模式部署是一种常见的 Spark 应用场景，本文将详细介绍 Spark on Yarn 模式部署的步骤和配置过程。 标题解释 Spark on Yarn 模式部署是指将 Spark 应用程序部署在 Yarn 集群上，使得 Spark 能够使用 ...
spark-2.2.0-yarn-shuffle.jar
02-09
spark-2.2.0-yarn-shuffle.jar
深入理解Spark：核心思想及源码分析.pdf
04-12
Spark集群管理器，如YARN或Mesos，负责资源调度，而Spark作业则是由多个阶段（stages）组成的，这些阶段通过宽依赖（wide dependency）和窄依赖（narrow dependency）进行划分。 3. **RDD原理**： RDD是Spark的...
java多线程的nio_java多线程之NIO的中断
weixin_31358991的博客
02-20 260
package com.eshroe.sweetop.concurrency;import java.io.IOException;import java.net.InetSocketAddress;import java.net.ServerSocket;import java.nio.ByteBuffer;import java.nio.channels.AsynchronousCloseEx...
IO与NIO –中断，超时和缓冲区
最佳 Java 编程
05-10 583
假设有一个系统有时需要将文件复制到几个位置，但是这种方式在响应速度至关重要的情况下。 换句话说，如果由于某种原因文件系统过载，并且我们无法在不到一秒钟的时间内写入文件，则应该放弃。 ExecutorService是一项非常方便的工作工具。 您可以轻松地将其用于并行执行多个任务（每个任务都写入不同的文件系统）。 Yuo还可以告诉它在超时后放弃，它将为您打断他们。 完美，正是我们所需要的。 ...
spark报错：java.nio.channels.ClosedChannelException & Couldn't connect to leader 处理
吴明磊的博客
10-29 1328
上周修改了一个程序，上线后每过一段时间就会报错，并且直接卡住，不会自动结束。 报错信息如下： 19-10-27 19:01:07 ERROR org.apache.spark.executor.Executor:91 - Exception in task 6.0 in stage 7.0 (TID 80) java.nio.channels.ClosedChannelException .....
搭建Spark所遇过的坑
asd315861547的博客
02-21 3196
一.经验1.Spark Streaming包含三种计算模式：nonstate .stateful .window2.kafka可通过配置文件使用自带的zookeeper集群3.Spark一切操作归根结底是对RDD的操作4.部署Spark任务，不用拷贝整个架包，只需拷贝被修改的文件，然后在目标服务器上编译打包。5.kafka的log.dirs不要设置成/tmp下的目录，貌似tmp目录有文件数和磁盘容量
java.nio.channels.ClosedChannelException解决办法
m0_67401499的博客
09-06 4310
【代码】java.nio.channels.ClosedChannelException解决办法。
ERROR org.apache.hadoop.yarn.server.nodemanager.containermanager.AuxServices: Failed to initialize spark_shuffle java.lang.RuntimeException: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.spark.network.yarn.YarnShuffleService not found at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2726) at org.apache.hadoop.yarn.server.nodemanager.containermanager.AuxServices.createAuxServiceFromConfiguration(AuxServices.java:204)
07-12
这个错误是关于 Hadoop YARN 中的辅助服务 (Auxiliary Services) 初始化失败的问题。根据错误信息，发生了两个异常：`java.lang.RuntimeException` 和 `java.lang.ClassNotFoundException`。 首先，`java.lang.RuntimeException` 表示在初始化辅助服务时出现了一个运行时异常。其次，`java.lang.ClassNotFoundException` 表示找不到类 `org.apache.spark.network.yarn.YarnShuffleService`。 根据错误信息，可能是由于缺少 Spark Shuffle 服务的类所导致的。Spark Shuffle 服务是 Spark 在 YARN 上执行时用于数据传输和共享的组件。 要解决这个问题，您可以尝试以下几个步骤： 1. 确保您的环境中已正确安装和配置了 Spark，并且 Spark 相关的 JAR 文件在您的应用程序或 Hadoop 的类路径中可用。 2. 检查您的配置文件，确保在 YARN 的配置中包含了正确的 Spark Shuffle 服务配置。您可以参考 Spark 和 Hadoop 的官方文档以了解正确的配置方式。 3. 确保在 YARN 的 `yarn-site.xml` 配置文件中正确设置了 Spark Shuffle 服务的类路径。您可以检查 `yarn.nodemanager.aux-services` 和 `yarn.nodemanager.aux-services.spark_shuffle.class` 这两个属性的设置。 4. 如果您使用的是自定义的 Spark Shuffle 服务实现，确保相关的 JAR 文件已正确放置在 YARN 的类路径中。 5. 如果您使用的是 Hadoop 集群管理工具（如 Ambari、Cloudera Manager 等），请确保您的工具已正确配置 Spark Shuffle 服务。 请注意，根据您的具体环境和配置，解决此问题可能需要进一步调查和调试。您还可以查看 Hadoop 和 Spark 的官方文档、社区支持资源以及相关错误日志，以获取更多关于此错误的详细信息和解决方案。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值